python爬虫基本流程-Python爬虫之Scrapy框架基本流程

scrapy结构图： scrapy组件： （1）ENGINE：引擎，框架的核心，其它所有组件在其控制下协同工作。 （2）SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度。 （3）DOWNLOADER：下载器，负责下载页面（发送HTTP请求/接收HTTP响应）。 （4）SPIDER：爬虫，负责提取页面中的数据，并产生对新页面的下载请求。 （5）MIDDLEWARE：中间件，负责对

>>阅读原文<<