使用scrapy-redis搭建分布式爬虫环境

使用scrapy-redis搭建分布式爬虫环境 scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。 有如下特征：  分布式爬取 您可以启动多个spider工程，相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。  分布式数据处理 爬取到的scrapy的item数据可以推

>>阅读原文<<