Python爬虫实战——搭建自己的IP代理池

如今爬虫越来越多，一些网站网站加强反爬措施，其中最为常见的就是限制IP，对于爬虫爱好者来说，能有一个属于自己的IP代理池，在爬虫的道路上会减少很多麻烦 环境参数 工具 详情 服务器 Ubuntu 编辑器 Pycharm 第三方库 requests、bs4、redis 搭建背景 之前用Scrapy写了个抓取新闻网站的项目，今天突然发现有一个网站的内容爬不下来了，通过查看日志发现是IP被封，于是就有了

>>阅读原文<<