爬虫scrapy框架入门

O、知识框架   一、初步概念 　　Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 　　1.requests+selenium能解决90%的爬虫需求&scrapy加速 　　2.scrapy使用了Twisted异步网络框架，加快下载速度。Twisted学习：http://www.javashuo.com/arti

>>阅读原文<<