Python爬虫使用动态代理

在 Python 爬虫时，在一段时间内请求数量过多，有时因为防爬机制，可能会出现不能继续爬取的问题。解决问题的方法能够是加长请求的间隔，或者从根本上使用动态 IP ，即将大量请求分散到大量的 IP 地址上来请求，从而使防爬机制不会注意。html 一个比较好用的高匿名 IP 的网站：http://www.xicidaili.com/nn/ 广泛的认识是这样的： 透明代理，即服务器知道请求方的代理 I

>>阅读原文<<