python爬虫之scrapy（基本介绍）

·scrapy框架 1、engine模块 一、控制全部模块的数据流 二、根据条件触发事件 三、不须要用户修改web 2、download 一、根据请求下载模块 二、不须要用户修改数据库 3、scheduler 一、对全部请求进行调度管理 二、不须要用户修改 4、spider 一、解析download返回的response（响应） 二、产生爬取scraped item（爬取项） 三、产生额外的req

>>阅读原文<<