scrapy框架简单了解

scrapy:是一个遍历爬行网站 ，分析获取数据而设计的应用程序框架，原本设计用于屏幕抓取（网络抓取）也可以用来访问api来提取数据；广泛应用与数据挖掘、信息处理、历史片打包等等。 “5+2”结构 Engine:不需要用户修改 控制所有模块之间的数据流 根据条件触发事件 Downloader:不需要用户修改 根据请求下载网页 Scheduler：不需要用户修改 对所有爬取请求调度管理 Downlo

>>阅读原文<<