如何檢測代理IP的有效性?
一、代理ip的常見功能
1.突破自身ip訪問限制,現(xiàn)在有許多的網(wǎng)站都對(duì)ip地址訪問進(jìn)行了限制,這時(shí)則可以通過代理ip來突破限制,正常訪問網(wǎng)站。
2.提高訪問速度,通常代理ip服務(wù)器都設(shè)置一個(gè)較大的硬盤緩沖區(qū),當(dāng)有外信息時(shí),則直接由緩沖區(qū)中取出信息傳給用戶,以提高訪問速度。
4.防止爬蟲被封禁,例如要抓取一個(gè)網(wǎng)站的數(shù)據(jù),但是網(wǎng)站對(duì)每個(gè)ip所能抓取的數(shù)據(jù)做了限制,這時(shí)我們使用代理ip,不停地切換ip,就可以防止程序被封,從而提高工作效率。
二、系統(tǒng)識(shí)別代理IP方法
1.反向探測技術(shù):掃描IP是不是開通了80,8080等代理服務(wù)器經(jīng)常開通的端口,顯然,一個(gè)普通的用戶IP不太可能開通如上的端口;
2.HTTP頭部的X_Forward_For:開通了HTTP代理的IP可以通過此法來識(shí)別是不是代理,如果帶有XFF信息,說明該IP是代理IP無疑;
3.Keep-alive報(bào)文:如果帶有Proxy-Connection的Keep-alive報(bào)文,毫無疑問,該IP是代理IP;
4.查看IP上端口:如果一個(gè)IP中有的端口大于10000,那么該IP大多也存在問題。
三、怎樣判斷代理ip是否可用
在命令行下輸入telnet XXX.XX.XX.XXX XX
即 telnet ipaddress port
例如: telnet 213.197.81.50 3128
如果連接上,說明有效。除此之外,還可以使用在線POST工具去檢測。天啟HTTP提供企業(yè)級(jí)HTTP代理IP,適合輔助數(shù)據(jù)采集、優(yōu)化網(wǎng)絡(luò)訪問,歡迎大家前來測試。