scrapy基本介绍及运行原理

Scrapy框架 1 scrapy是用纯python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途广泛。 2 用户只需要定制开发的几个模块就能轻松实现一个爬虫，用来抓取网页内容、图片。 3 scrapy使用Twisted[twistrd]（其主要对手是tornado）异步网络框架来处理网络通讯可以加快下载速度，不用自己实现一部框架，并且包含了各种中间件可以灵活的完成各种的需求 Sc

>>阅读原文<<