scrapy集成scrapy-redis

背景状况 爬虫因为须要网络请求，通常生产数据都比较慢，若是增长部分浏览器的处理，会更慢, 因此须要增长分布式的处理方案， 比较常见的，是把队列扔到redis中，比较经常使用的是 scrapy-redis php 说明，怎么去搭建一个spider,请查看 https://blog.csdn.net/mingover/article/details/80717974css 怎么加入scrapy-red

>>阅读原文<<