scrapy框架流程

scrapy框架是基于python的爬虫框架,大致流程如下: scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码， 就能够快速的抓取到数据内容。 Scrapy 使用了 Twisted’twɪstɪd异步网络框 架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口， 可以灵活的完成各种需求。 scrapy 框架的工作流程

>>阅读原文<<