爬虫知识2：Scrapy框架介绍，建立第一个蜘蛛

1、Scrapy介绍：     Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。主要用来帮助你下载网页、解析网页、自定义一些模块。我们只需专注于提取数据就好了；     Scrapy 使用了Twisted异步网络库来处理网络通讯，可以加快我们的下载速度，而不用自己去实现异步框架。     Scrapy整体架构大致如下： Scrapy主要包括了以下组件： 引擎(Scrapy En

>>阅读原文<<