scrapy 爬虫框架记要

scrapy 就是一个帮助爬取网站数据，帮助提取网站结构化数据的框架。   组件概览：   Scheduler  :   Scrapy Engine:  引擎负责数据流在整个系统中的流动，也就是在你start 启动的那一瞬间，会有相应触发事件。  spiders:  爬虫程序， 里包括如何爬取网页，分析返回的response，提取item或者继续进入下一个URL，每一个spider都负责处理一个或

>>阅读原文<<