Scrapy学习 二 框架简介

框架流程 1.引擎向蜘蛛索取网址 2.引擎将要爬取的URL交给调度器 3.调度器将URL生成请求对象放入到指定的队列 4.从队列中出列一个请求 5.引擎将请求交给下载器 6.下载器发出请求获取互联网数据 7.下载器将数据交给引擎 8.引擎将数据交给蜘蛛 9. Spider通过Xpath解析，将解析结果交给引擎判断 10.如果得到的URL则继续交给调度器，如果得到数据则交给管道处理   组件说明：

>>阅读原文<<