自建IP代理池反爬虫不用愁

伴随着大数据行业的迅速发展，人们对IP的需求量也日渐猛增，所以，如果要大批量的抓取信息，就不能避免的使用IP池，针对Python爬虫使用的IP池，是如何搭建起来的呢？ 环境说明 为了实现代理IP池，我们如下的软件环境（列举主要部分）： 1.redis服务器，用以存放代理池相关数据 2.flask，用以实现提取单个随机代理的api 3.squid3，用以实现代理转发 组件1-获取代理ip的渠道 第一

>>阅读原文<<