python3 Scrapy简介

什么是Scrapy Scrapy 是一套基于Twisted的异步处理框架，是纯python实现的爬虫框架。 Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了网络抓取所设计的，也可以应用在获取API所返回的数据或者通用的网络爬虫。 用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容

>>阅读原文<<