scrapy分布式Spider源码分析及实现过程

分布式框架scrapy_redis实现了一套完整的组件，其中也实现了spider，RedisSpider是在继承原scrapy的Spider的基础上略有改动，初始URL不在从start_urls列表中读取，而是从redis起始队列中读取。 scrapy_redis源码在scrapy.redis.spider中，不仅实现了RedisSpider（分布式爬虫）还实现了RedisCrawlSpider（

>>阅读原文<<