Scrapy框架原理及流程

这是一篇整理爬虫概念知识的文章。 Scrapy工作流程图 Scrapy数据流是由执行的核心引擎(engine)控制，流程是这样的： 1、爬虫引擎获得初始请求开始抓取。  2、爬虫引擎开始请求调度程序，并准备对下一次的请求进行抓取。  3、爬虫调度器返回下一个请求给爬虫引擎。  4、引擎请求发送到下载器，通过下载中间件下载网络数据。  5、一旦下载器完成页面下载，将下载结果返回给爬虫引擎。  6、引

>>阅读原文<<