scrapy设置随机User-agent、scrapy爬取大量网页、设置爬虫请求并发数

      对于爬虫攻城狮而言，爬虫的最大敌人就是反爬虫。在多次请求网页时(爬取大量url时)，避免被地方封锁掉，User-agent代理的随机跳变就成了反爬虫的的第一步也是必须的一步的拉。 一：设置随机User-agent(User-agent文件自行准备)     scrapy里怎么随机跳变User-agent呢？当scrapy项目创建完成，执行爬虫程序时，首先会先读取setting文件的配置

>>阅读原文<<