Scrapy 框架基础入门

一.Scrapy介绍

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途普遍，能够用于数据挖掘、监测和自动化测试。“Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 能够应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来讲, 网络抓取 )所设计的， 也能够应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。”

 

二.Scrapy项目结构

 

一、在Item中定义本身要抓取的数据：

二、而后在spiders目录下编辑Spider.py那个文件：

 

三、编辑pipelines.py文件，能够经过它将保存在TutorialItem中的内容写入到数据库或者文件中：

 

四、settings.py与scrapy.cfg则为配置文件：

settings.py：

 

scrapy.cfg：