Scrapy 去重

Scrapy 去重 RFPDupeFilter这个类 set()集合 那么在 scrapy 中是如何来使用这个类的方法的呢？什么时候使用，这个流程是怎样的呢？ 这个可以追溯到 scrapy.core.scheduler 中定义的 Scheduler 类来决定。 现在就来看看 Scheduler 类中和过滤重复 url 有关的内容。 在 Scheduler 类中，在调度时，采用了 memory qu

>>阅读原文<<