python网络爬虫之Scrapy框架介绍

Scrapy的框架如图所示，这是从MOOC上获取图表示例，下面介绍具体都是干什么的。 架构介绍 & Engine。是框架的核心，控制所有模块之间的数据流动，然后根据各个模块出现的时间进行触发。不需进行修改。 & Downloader。 下载器。获取请求并提交请求，下载网页内容，并将网页内容返回给Spider。不需进行修改。 & Scheduler。 将Engine发过来的请求进行调度，判断在爬取网

>>阅读原文<<