在Python中怎么設(shè)置ip代理來使用的?
在Pyhton中要怎么使用ip代理?我們經(jīng)常說ip代理能夠讓Python更好的發(fā)揮爬蟲效果，首先我們要懂得如何在python語言中設(shè)置ip代理來利用?！ ?br/>
1、urllib模塊設(shè)置代理
如果我們頻繁用一個(gè)IP去爬取同一個(gè)網(wǎng)站的內(nèi)容，很可能會被網(wǎng)站封殺IP。其中一種比較常見的方式就是設(shè)置ip代理?！ ?br/>
from urllib import request proxy = 'http://39.134.93.12:80' proxy_support = request.ProxyHandler({'http': proxy}) opener = request.build_opener(proxy_support) request.install_opener(opener) result = request.urlopen('http://baidu.com')
首先我們需要構(gòu)建一個(gè)ProxyHandler類，隨后將該類用于構(gòu)建網(wǎng)頁代開的opener的類，最后在request中安裝opener
2、requests模塊使用代理
該模塊設(shè)置代理非常容易 import requests proxies = { 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080' } r = requests.get('http://icanhazip.com', proxies=proxies)
ip代理利用得當(dāng)，我們的爬蟲將不會輕易被網(wǎng)站禁止，這樣就可以順利抓取到我們需要的數(shù)據(jù)信息，幫助了我們爬蟲的效果。
