scrapy工作流程

主要看图理解：先理解流程，在学习就简单 之前的爬虫的工作流程： 下面我们来看看scrapy 的工作流程： 其流程可以描述如下： 调度器把requests–>引擎–>下载中间件—>下载器 下载器发送请求，获取响应---->下载中间件---->引擎—>爬虫中间件—>爬虫 爬虫提取url地址，组装成request对象---->爬虫中间件—>引擎—>调度器 爬虫提取数据—>引擎—>管道 管道进行数据的处理

>>阅读原文<<