pyhton2爬虫 爬IP IP代理池 urllib2设置 scrapy设置

目录 前言 获取IP 其他代理网站 IP验证  urllib2配置IP Scrapy配置IP 常规方法： 我的写法： 前言 使用代理IP，这是爬虫/反爬虫的利器，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续

>>阅读原文<<