Python爬虫---Scrapy框架

                Scrapy Engine(引擎): 负责Spider，ItemPipeline，Downloader，Scheduler间的通讯，信号数据传递等。 Scheduler(调度器): 负责接受引擎发送过来的Request请求，并按照一定方式进行整理排列入队，当引擎需要时，交还给引擎。 Downloader(下载器)：负责下载Scrapy Engine(引擎)发送的所有

>>阅读原文<<