基于scrapy_redis部署scrapy分布式爬虫

1使用命令行下载包 scrapy_redis 使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器 这个让scrapy不使用自己的调度器，使用scrapy_redis重写的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 这个是让scrapy使用scrapy_redis重写的去重方法，运用redis的去重

>>阅读原文<<