scrapy框架组件

scrapy框架几大组件介绍 scrapy是一个爬虫框架，有着非常健全的管理系统，重要的是它支持分布式。 1.引擎（scrapy engine）：负责爬虫（spiders）、管道（itemPipline）、下载器（downloader）、调度器（scheduler）各个部分的通讯，信息、信号、数据等的传递。 2.调度器（scheduler）：负责接收引擎发过来的requests请求，并按一定的方法

>>阅读原文<<