scrapy分布式调度源码及其实现过程

scrapy_redis.scheduler取代了scrapy自带的scheduler调度，scheduler实现队列、url去重、Request管理的功能， 负责调度各个spider的request请求，scheduler初始化时，通过settings文件读取queue和dupefilters的类型（一般就用上边默认的），配置queue和dupefilters使用的key（一般就是spider

>>阅读原文<<