【scrapy】学习Scrapy入门

转自http://www.jianshu.com/p/a8aad3bf4dc4

Scrapy介绍

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 能够应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
所谓网络爬虫，就是一个在网上处处或定向抓取数据的程序，固然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的通常方法是，定义一个入口页面，而后通常一个页面会有其余页面的URL，因而从当前页面获取到这些URL加入到爬虫的抓取队列中，而后进入到新页面后再递归的进行上述的操做，其实说来就跟深度遍历或广度遍历同样。
Scrapy 使用 Twisted这个异步网络库来处理网络通信，架构清晰，而且包含了各类中间件接口，能够灵活的完成各类需求。

总体架构

• 引擎(Scrapy Engine)，用来处理整个系统的数据流处理，触发事务。

• 调度器(Scheduler)，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。

• 下载器(Downloader)，用于下载网页内容，并将网页内容返回给蜘蛛。

• 蜘蛛(Spiders)，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每一个spider负责处理一个特定(或一些)网站。

• 项目管道(Item Pipeline)，负责处理有蜘蛛从网页中抽取的项目，他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并通过几个特定的次序处理数据。

• 下载器中间件(Downloader Middlewares)，位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

• 蜘蛛中间件(Spider Middlewares)，介于Scrapy引擎和蜘蛛之间的钩子框架，主要工做是处理蜘蛛的响应输入和请求输出。

• 调度中间件(Scheduler Middlewares)，介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

爬取流程

上图绿线是数据流向，首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载以后会交给Spider进行分析，Spider分析出来的结果有两种：一种是须要进一步抓取的连接，例如以前分析的“下一页”的连接，这些东西会被传回Scheduler；另外一种是须要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。另外，在数据流动的通道里还能够安装各类中间件，进行必要的处理。

数据流

Scrapy中的数据流由执行引擎控制，其过程以下:

1. 引擎打开一个网站(open a domain)，找处处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。

2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。

3. 引擎向调度器请求下一个要爬取的URL。

4. 调度器返回下一个要爬取的URL给引擎，引擎将URL经过下载中间件(请求(request)方向)转发给下载器(Downloader)。

5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其经过下载中间件(返回(response)方向)发送给引擎。

6. 引擎从下载器中接收到Response并经过Spider中间件(输入方向)发送给Spider处理。

7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。

8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。

9. (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

Scrapy项目基本流程

默认的Scrapy项目结构

使用全局命令startproject建立项目，在project_name文件夹下建立一个名为project_name的Scrapy项目。

scrapy startproject myproject

虽然能够被修改，但全部的Scrapy项目默认有相似于下边的文件结构:

scrapy.cfg
myproject/
    __init__.py
    items.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py        ...

scrapy.cfg 存放的目录被认为是 项目的根目录 。该文件中包含python模块名的字段定义了项目的设置。

定义要抓取的数据

Item 是保存爬取到的数据的容器；其使用方法和python字典相似， 而且提供了额外保护机制来避免拼写错误致使的未定义字段错误。
相似在ORM中作的同样，您能够经过建立一个 scrapy.Item 类， 而且定义类型为 scrapy.Field 的类属性来定义一个Item。
首先根据须要从dmoz.org（DMOZ网站是一个著名的开放式分类目录（Open DirectoryProject），由来自世界各地的志愿者共同维护与建设的最大的全球目录社区）获取到的数据对item进行建模。 咱们须要从dmoz中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑items.py 文件:

import scrapyclass DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

使用项目命令genspider建立Spider

scrapy genspider [-t template] <name> <domain>

在当前项目中建立spider。
这仅仅是建立spider的一种快捷方法。该方法可使用提早定义好的模板来生成spider。您也能够本身建立spider的源码文件。

$ scrapy genspider -l
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider -d basicimport scrapyclass $classname(scrapy.Spider):
    name = "$name"
    allowed_domains = ["$domain"]
    start_urls = (        'http://www.$domain/',
        )    def parse(self, response):
        pass$ scrapy genspider -t basic example example.com
Created spider 'example' using template 'basic' in module:
  mybot.spiders.example

编写提取item数据的Spider

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始URL，如何跟进网页中的连接以及如何分析页面中的内容， 提取生成 item 的方法。
为了建立一个Spider，您必须继承 scrapy.Spider 类，且定义如下三个属性:

• name: 用于区别Spider。 该名字必须是惟一的，您不能够为不一样的Spider设定相同的名字。

• start_urls: 包含了Spider在启动时进行爬取的url列表。 所以，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。

• parse() 是spider的一个方法。 被调用时，每一个初始URL完成下载后生成的 Response 对象将会做为惟一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成须要进一步处理的URL的 Request 对象。

import scrapyclass DmozSpider(scrapy.spider.Spider):
    name = "dmoz"    #惟一标识，启动spider时即指定该名称
    allowed_domains = ["dmoz.org"]
    start_urls = [        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]    def parse(self, response):
        filename = response.url.split("/")[-2]        with open(filename, 'wb') as f:
            f.write(response.body)

进行爬取

执行项目命令crawl，启动Spider：

scrapy crawl dmoz

在这个过程当中：
Scrapy为Spider的 start_urls 属性中的每一个URL建立了 scrapy.Request 对象，并将 parse 方法做为回调函数(callback)赋值给了Request。
Request对象通过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

经过选择器提取数据

Selectors选择器简介：
Scrapy提取数据有本身的一套机制。它们被称做选择器(seletors)，由于他们经过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。
XPath 是一门用来在XML文件中选择节点的语言，也能够用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。

XPath表达式的例子和含义：

• /html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素

• /html/head/title/text(): 选择上面提到的 <title> 元素的文字

• //td: 选择全部的 <td> 元素

• //div[@class="mine"]: 选择全部具备 class="mine" 属性的 div 元素

提取数据：
观察HTML源码并肯定合适的XPath表达式。
在查看了网页的源码后，您会发现网站的信息是被包含在 第二个

• 元素中。

• 
  

• 咱们能够经过这段代码选择该页面中网站列表里全部

• 元素:
  response.xpath('//ul/li')

  Item 对象是自定义的python字典。 您可使用标准的字典语法来获取到其每一个字段的值。
  通常来讲，Spider将会将爬取到的数据以 Item 对象返回。因此为了将爬取的数据返回，咱们最终的代码将是:

  import scrapyfrom tutorial.items import DmozItemclass DmozSpider(scrapy.Spider):
      name = "dmoz"
      allowed_domains = ["dmoz.org"]
      start_urls = [        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
      ]    def parse(self, response):
          for sel in response.xpath('//ul/li'):
              item = DmozItem()
              item['title'] = sel.xpath('a/text()').extract()
              item['link'] = sel.xpath('a/@href').extract()
              item['desc'] = sel.xpath('text()').extract()            yield item

  如今对dmoz.org进行爬取将会产生 DmozItem 对象。

  保存数据

  最简单存储爬取的数据的方式是使用 Feed exports:

  scrapy crawl dmoz -o items.json

  该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。
  若是须要对爬取到的item作更多更为复杂的操做，您能够编写 Item Pipeline 。相似于咱们在建立项目时对Item作的，用于您编写本身的 tutorial/pipelines.py 也被建立。不过若是您仅仅想要保存item，您不须要实现任何的pipeline。

  补充提示：Windows平台安装Scrapy的特别要求

  Windows specific installation notes
  Windows平台下，安装Scrapy以前首先要进行如下操做：

  小结

  第一篇关于Scrapy的文章主要依据Scrapy 0.24的中文文档，了解、熟悉Scrapy的使用和基本概念，在后面的相关文章中，将进一步加入本身的思考和自行编写的程序，期待能在这个过程当中提升本身，也但愿能对看到这些文章的读者有用。

  参考资料

  Scrapy架构概览
  初窥Scrapy
  Scrapy入门教程
  如何入门 Python 爬虫

  转载请注明做者Jason Ding及其出处
  Github博客主页(http://jasonding1354.github.io/)
  CSDN博客(http://blog.csdn.net/jasonding1354)
  简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)

  • 安装OpenSSL
    在Win32 OpenSSL page中下载安装Visual C++ 2008 redistributables和对应的OpenSSL安装包，并把其可执行文件目录“*\openssl-win32\bin”加入到环境变量Path中

  • 安装Scrapy依赖的二进制包
    pywin32
    Twisted
    zope.interface
    lxml
    pyOpenSSL

文／JasonDing（简书做者）原文连接：http://www.jianshu.com/p/a8aad3bf4dc4著做权归做者全部，转载请联系做者得到受权，并标注“简书做者”。