python3 selenium模塊Chrome設(shè)置代理ip的實(shí)現(xiàn)
selenium模塊Chrome設(shè)置代理ip的實(shí)現(xiàn)代碼:from selenium import webdriver chromeOptions = webdriver.ChromeOptions()
# 設(shè)置代理 PROXY = "124.206.133.227:80" chrome_options = webdriver.ChromeOptions() chrome_options.add_argument('--proxy-server={0}'.format(PROXY))
# 一定要注意,=兩邊不能有空格,不能是這樣--proxy-server = 202.20.16.82:10152 browser = webdriver.Chrome(chrome_options = chromeOptions)
# 查看本機(jī)ip,查看代理是否起作用 browser.get("http://httpbin.org/ip") print(browser.page_source) # 退出,清除瀏覽器緩存 browser.quit()
注意事項(xiàng):
1,
代理IP最好是穩(wěn)定的固定IP,不要選動(dòng)態(tài)IP。我們常用的爬蟲IP是高匿名動(dòng)態(tài)IP,是通過撥號(hào)動(dòng)態(tài)產(chǎn)生的,時(shí)效性很短,一般在1~3分鐘。對(duì)于scrapy這種并發(fā)度很高,又不需要登錄的爬蟲來說,非常合適,但是在瀏覽器渲染類爬蟲中并不適用。
2,代理IP的速度。因?yàn)閟elenium爬蟲采用的是瀏覽器渲染技術(shù),本身速度就很慢。如果選擇的代理IP速度較慢,就會(huì)大大增加爬取的時(shí)間。
3,電腦內(nèi)存要夠大。因?yàn)閏hrome占內(nèi)存較大,在并發(fā)度很高的情況下,