爬虫框架之Scrapy运行流程

一.Scrapy流程图以下： web 二.Scrapy运行流程大概以下：框架 首先，引擎从调度器中取出一个连接(URL)用于接下来的抓取 引擎把URL封装成一个请求(Request)传给下载器，下载器把资源下载下来，并封装成应答包(Response) 而后，爬虫解析Response 如果解析出实体（Item）,则交给实体管道进行进一步的处理。 如果解析出的是连接（URL）,则把URL交给Sched

>>阅读原文<<