python爬虫代理与反爬虫战略

做网络爬虫的当然期待能爬取的数据信息尽可能多一点，尽量高效一些，随后好做分析，获得自身所需要的;而做为网站主当然期待自身的网站能够正常运行，自己的劳动成果不被他人窃取。因此，网络爬虫与反爬虫的战争就开始了! 一、IP活动出现异常 网站主能够利用网站流量统计看得出一些异常浏览，例如相同IP地址推送了越来越多相近的请求，相同IP浏览的速度反人类，那么网站主便会作出反击。 1、浏览速率限定 2、浏览频繁

>>阅读原文<<