Python爬虫-scrapy介绍及使用

scrapy的流程 其流程可以描述如下： ● 调度器把requests–>引擎–>下载中间件—>下载器 ● 下载器发送请求，获取响应---->下载中间件---->引擎—>爬虫中间件—>爬虫 ● 爬虫提取url地址，组装成request对象---->爬虫中间件—>引擎—>调度器 ● 爬虫提取数据—>引擎—>管道 ● 管道进行数据的处理和保存 推荐学习：《0基础 Python 入门教程》 注意： 图中

>>阅读原文<<