Scrapy框架

Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。 Scrapy囊括了爬取网站数据几乎所有的功能,是一个扩展性很强的一个框架,Scrapy在爬虫界里相当于web的Django Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下   Scrapy主要包括了以下组件： 引擎(Sc

>>阅读原文<<