scrapy基本介绍及运行原理

Scrapy框架 1 scrapy是用纯python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途普遍。python 2 用户只须要定制开发的几个模块就能轻松实现一个爬虫，用来抓取网页内容、图片。网络 3 scrapy使用Twisted[twistrd]（其主要对手是tornado）异步网络框架来处理网络通信能够加快下载速度，不用本身实现一部框架，而且包含了各类中间件能够灵活的完成

>>阅读原文<<