Java爬蟲中添加代理IP的方法

1. 使用 HttpClient 庫

在Java中，您可以使用 HttpClient 庫來發(fā)送HTTP請(qǐng)求并添加代理IP。首先，確保您已經(jīng)導(dǎo)入 HttpClient 庫到您的項(xiàng)目中。

import org.apache.http.HttpHost;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

2. 創(chuàng)建代理IP對(duì)象

創(chuàng)建代理IP對(duì)象并設(shè)置代理IP地址和端口號(hào)。

HttpHost proxy = new HttpHost("代理IP地址", 代理端口號(hào));

3. 設(shè)置代理IP配置

使用 RequestConfig 對(duì)象設(shè)置代理IP配置。

RequestConfig config = RequestConfig.custom()
    .setProxy(proxy)
    .build();

4. 創(chuàng)建 HttpClient 對(duì)象

創(chuàng)建 CloseableHttpClient 對(duì)象，并將代理IP配置添加到請(qǐng)求中。

CloseableHttpClient httpClient = HttpClients.custom()
    .setDefaultRequestConfig(config)
    .build();

5. 發(fā)送帶代理IP的請(qǐng)求

使用創(chuàng)建的 HttpClient 對(duì)象發(fā)送帶有代理IP的請(qǐng)求。

HttpGet request = new HttpGet("目標(biāo)URL");
CloseableHttpResponse response = httpClient.execute(request);

String responseBody = EntityUtils.toString(response.getEntity());
System.out.println(responseBody);

httpClient.close();

通過以上步驟，您可以在Java爬蟲程序中成功添加代理IP，并發(fā)送帶有代理IP的HTTP請(qǐng)求，實(shí)現(xiàn)對(duì)目標(biāo)網(wǎng)站數(shù)據(jù)的爬取。