Scrapy 框架介绍

    Scrapy运行流程大概以下：html 引擎从调度器中取出一个连接(URL)用于接下来的抓取 引擎把URL封装成一个请求(Request)传给下载器 下载器把资源下载下来，并封装成应答包(Response) 爬虫解析Response 解析出实体（Item）,则交给实体管道进行进一步的处理 解析出的是连接（URL）,则把URL交给调度器等待抓取 1、安装python 由于python3并不能

>>阅读原文<<