scrapy架构个人解读

scrapy 架构图       从上图中可以看到scrapy的数据流向 1.从书写的spiders开始会抛出 (yield) requests 到scrapy引擎(engine)中 2.engine 没有对request 做任何处理，直接将 requests 交给 scheduler 3.由scheduler生成requests 重新交给engine 4.engine将从scheduler 中得

>>阅读原文<<