个人对爬虫框架Scrapy的理解

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取的数据内容。Scrapy使用了Twisted一部网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。 scrapy框架的工作流程： 首先Spider（爬虫）将需要发送请求的url（requests）经ScrapyEngin

>>阅读原文<<