使用高匿名IP一定不會(huì)被限制嗎?
服務(wù)器端從客戶端發(fā)送請(qǐng)求的相關(guān)行為來(lái)識(shí)別是否使用了代理IP,識(shí)別的辦法一般是分析訪問(wèn)請(qǐng)求行為是否反人類(lèi):訪問(wèn)頻率超快,訪問(wèn)非常規(guī)律等。那么使用了高匿名IP代理還會(huì)被識(shí)別嗎?

服務(wù)器端從客戶端發(fā)送請(qǐng)求中的相關(guān)字段來(lái)識(shí)別是否使用代理IP,識(shí)別的辦法就是抓數(shù)據(jù)包里的相關(guān)字段:REMOTE_ADDR,HTTP_VIA以及HTTP_X_FORWARDED_FOR三個(gè)字段。
使用高匿名代理IP發(fā)送請(qǐng)求時(shí)這3個(gè)字段的值,和沒(méi)有使用代理IP發(fā)送請(qǐng)求時(shí)的值是一樣的。所以服務(wù)器端無(wú)法從這3個(gè)字段來(lái)分辨是否使用代理IP,這也就是高匿名代理IP不被識(shí)別的原因。
但是,即使使用了高匿代理,也不能保證100%不被限制。因?yàn)榕老x(chóng)工作量是非常巨大的,請(qǐng)求量會(huì)非常龐大,甚至一秒幾十個(gè)幾百個(gè)請(qǐng)求,遠(yuǎn)超正常人訪問(wèn)網(wǎng)頁(yè)的速度。反爬策略就會(huì)作出判斷,該用戶為非正常用戶,對(duì)IP作出限制處理。這種情況并不是識(shí)別了客戶端使用了代理IP,因?yàn)榫退悴皇褂酶吣浯鞩P,是自己的真實(shí)IP在請(qǐng)求,這樣的行為也一樣會(huì)被限制。
高匿名代理IP不會(huì)被識(shí)別,但同時(shí)我們的請(qǐng)求行為應(yīng)該盡量模擬正常用戶行為,盡量不觸發(fā)反爬策略,這樣就不會(huì)被限制。
提供的代理IP資源遍布全球220+國(guó)家與地區(qū),每日高達(dá)9000萬(wàn)真實(shí)住宅IP資源,高速、高可用率,穩(wěn)定配合爬蟲(chóng)工作。