Scrapy学习笔记

一、爬虫框架Scrapy总览 图片来源于网络 上图就是整个Scrapy的架构图了，主要包括部分作用如下： Scrapy Engine：爬虫引擎，负责制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。简单来说，就是负责Spiders、ItemPipeline、Downloaders和Scheduler之间的信息传递。 Scheduler：调度器，负责接受引擎发送过来的requests请求，

>>阅读原文<<