在爬取网站中的代理设置，爬虫利器

requests 下的代理使用 使用代理 IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个 IP 的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个 IP 的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算 IP 被禁止，依然可以换个 IP 继续爬取。 requests   ProxyHandler 处理器（代理设

>>阅读原文<<