Scrapy框架介绍

架构介绍 五个组件 Scrapy Engine（Scrapy引擎） Scheduler（调度器） Downloader（下载器） Spiders（蜘蛛） Item Pipeline（项目管道） 五大组件及其中间件的功能如下： Scrapy引擎：控制整个系统的数据处理流程，触发事务处理流程，负责串联各个模块 Scheduler（调度器）：维护待爬取的URL队列，当接受引擎发送的请求时，会从待爬取的U

>>阅读原文<<