搭建爬虫代理池

代理IP从何而来？ 刚自学爬虫的时候没有代理IP就去西刺有免费代理的网站去爬，还是有个别代理能用。当然，如果你有更好的代理接口也可以自己接入例如（亿牛云代理） 免费代理的采集也很简单，无非就是：访问页面页面 —> 正则/xpath提取 —> 保存 如何保证代理质量？ 可以肯定免费的代理IP大部分都是不能用的，不然别人为什么还提供付费的(不过事实是很多代理商的付费IP也不稳定，也有很多是不能用)。所

>>阅读原文<<