反爬虫策略

策略一：设置download_delay 做用：设置下载的等待时间，大规模集中的访问对服务器的影响最大，至关与短期中增大服务器负载。 缺点：下载等待时间长，不能知足段时间大规模抓取的要求，过短则大大增长了被ban的概率。 策略二：禁止cookies Cookie，有时也用其复数形式 Cookies，指某些网站为了辨别用户身份、进行 session跟踪而储存在用户本地终端上的数据（一般通过加密）。

>>阅读原文<<