防止爬虫被ban，随机更换代理IP，随机User-Agent，及setting配置，PhantomJS抓取JS网页

当有CONCURRENT_REQUESTS，没有DOWNLOAD_DELAY 时，服务器会在同一时间收到大量的请求。html 当有CONCURRENT_REQUESTS，有DOWNLOAD_DELAY 时，服务器不会在同一时间收到大量的请求。python 两种方法可以使 requests 不被过滤:  1. 在 allowed_domains 中加入 url  2. 在 scrapy.Reques

>>阅读原文<<