基于scrapy_redis部署的scrapy分布式爬虫

1. 首先使用命令行工具下载工具包 scrapy_redis （如果使用的是虚拟环境，先进入到虚拟环境） scrapy-redis：一个三方的基于redis的分布式爬虫框架，配合scrapy使用，让爬虫具有了分布式爬取的功能 github地址： https://github.com/darkrho/scrapy-redis 2.打开项目配置settings 找到settings文件,配置scrap

>>阅读原文<<