第二章 编写Spider

1. Scrapy框架结构以及工作原理 组件 描述 类型 ENGINE 引擎,框架的核心,其他所有组件在其控制下协同工作 内部组件 SCHEDULER 调度器,负责对SPIDER提交的下载请求进行调度 内部组件 DOWNLOADER 下载器,负责下载页面(发送HTTP请求/接收HTTP响应) 内部组件 SPIDER 爬虫,负责提取页面中的数据,并产生对新页面的下载请求 用户实现 MIDDLEWAR

>>阅读原文<<