Scrapy爬虫架构图解

这就是整个Scrapy的架构图了； Scrapy Engine: 这是引擎，负责Spiders、ItemPipeline、Downloader、Scheduler中间的通信，信号、数据传递等等！（像不像人的身体？） Scheduler(调度器): 它负责接受引擎发送过来的requests请求，并按照必定的方式进行整理排列，入队、并等待Scrapy Engine(引擎)来请求时，交给引擎。 D

>>阅读原文<<