python爬虫之scrapy(基本介绍)

·scrapy框架 一、engine模块 1、控制所有模块的数据流 2、根据条件触发事件 3、不需要用户修改 二、download 1、根据请求下载模块 2、不需要用户修改 三、scheduler 1、对所有请求进行调度管理 2、不需要用户修改 四、spider 1、解析download返回的response(响应) 2、产生爬取scraped item(爬取项) 3、产生额外的requests(
相关文章
相关标签/搜索