（python简单的架构思想）爬虫scrapy框架中的spider的底层是怎么实现的

scrapy做为爬虫比较成熟框架，如今用的是最多的爬虫框架，固然，除了本身开发的框架； crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通信，信号、数据传递等。python Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照必定的方式进行整理排列，入队，当引擎须要时，交还给引擎。web D

>>阅读原文<<