反反爬，搭建IP代理池

1 、 爬虫代理 \quad 对于爬虫来说,由于爬虫爬取速度过快，在爬取的过程中可能会遇到同一个IP访问太过频繁，在网站反爬措施下导致直接拒绝访问，也就是所谓的封IP，因此需要一种借助某种方式来伪装我们的IP，让服务器识别不出是由本机发送的请求。这里我们使用代理IP的方式来实现IP的伪装。 2 、 代理的作用 \quad 代理实际上就是代理服务器，英文叫做proxy server,它的功能是代理网

>>阅读原文<<