java 如何解决爬虫ip被封的3种方式

1.设置代理ip浏览器

1 HttpHost proxy = new HttpHost("112.36.34.134",80);//设置代理ip
2 
3         RequestConfig config = RequestConfig.custom() 4  .setProxy(proxy) 5

2.延长访问时间ui

1         RequestConfig config = RequestConfig.custom() 2                 
3                 .setConnectTimeout(1000=0)// 建立链接的最长时间
4                 .setConnectionRequestTimeout(1000)// 获取链接的最长时间
5                 .setSocketTimeout(1000)// 数据传输的最长时间
6                 .build();

3.假装成浏览器url

1 HttpGet httpGet = new HttpGet(url); 2         // 设置请求信息 3         //假装浏览器
4         httpGet.setHeader("User-Agent","Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0");
相关文章
相关标签/搜索