[原创]手把手教你写网络爬虫（4）：Scrapy入门

时间 2019-11-12

原文原文链接

手把手教你写网络爬虫（4）css

做者：拓海 (https://github.com/tuohai666)html

摘要：从零开始写爬虫，初学者的速成指南！python

封面：git

上期咱们理性的分析了为何要学习Scrapy，理由只有一个，那就是免费，一分钱都不用花！github

咦？怎么有人扔西红柿？好吧，我认可电视看多了。不过今天是没得看了，为了赶稿，又是一个不眠夜。。。言归正传，咱们将在这一期介绍完Scrapy的基础知识，若是想深刻研究，你们能够参考官方文档，那但是出了名的全面，我就不占用公众号的篇幅了。json

架构简介

下面是Scrapy的架构，包括组件以及在系统中发生的数据流的概览(红色箭头所示)。以后会对每一个组件作简单介绍，数据流也会作一个简要描述。浏览器

组件网络

Engine: 引擎负责控制数据流在系统中全部组件中流动，并在相应动做发生时触发事件。架构

Scheduler: 调度器从引擎接受Request并将他们入队，以便以后引擎请求他们时提供给引擎。框架

Downloader: 下载器负责获取页面数据并提供给引擎，然后提供给Spider。

Spiders: Spider是Scrapy用户编写的用于分析Response并提取Item或提取更多须要下载的URL的类。每一个Spider负责处理特定网站。

Item Pipeline: 负责处理被Spider提取出来的Item。典型的功能有清洗、验证及持久化操做。

Downloader middlewares: 下载器中间件是在Engine及Downloader之间的特定钩子(specific hooks)，处理Downloader传递给Engine的Response。其提供了一个简便的机制，经过插入自定义代码来扩展Scrapy功能。

Spider middlewares: 是在Engine及Spider之间的特定钩子(specific hook)，处理Spider的输入(Response)和输出(Items及Requests)。其提供了一个简便的机制，经过插入自定义代码来扩展Scrapy功能。

数据流

Scrapy中的数据流由执行引擎控制，其过程以下:

Engine从Spider获取第一个须要爬取URL(s)。
Engine用Scheduler调度Requests，并向Scheduler请求下一个要爬取的URL。
Scheduler返回下一个要爬取的URL给Engine。
Engine将URL经过Downloader middlewares转发给Downloader。
一旦页面下载完毕，下载器生成一个该页面的Response，并将其经过Downloader middlewares发送给Engine。
引擎从Downloader中接收到Response并经过Spider middlewares发送给Spider处理。
Spider处理Response并返回爬取到的Item及新的Request给Engine。
Engine将爬取到的Item给Item Pipeline，而后将Request给Scheduler。
从第一步开始重复这个流程，直到Scheduler中没有更多的URLs。

架构就是这样，流程和我第二篇里介绍的迷你架构差很少，但扩展性很是强大。

One more thing

Scrapy基于事件驱动网络框架 Twisted 编写，Twisted是一个异步非阻塞框架。一说到网络通讯框架就会提什么同步、异步、阻塞和非阻塞，究竟是些啥玩意啊？为啥总是有人暗示或者明示异步=非阻塞？好比Scrapy文档里：Scrapy is written with Twisted, a popular event-driven networking framework for Python. Thus, it’s implemented using a non-blocking (aka asynchronous) code for concurrency. 这种说法对吗？举个栗子：

出场人物：老张，水壶两把（普通水壶，简称水壶；会响的水壶，简称响水壶）

1. 老张把水壶放到火上，立等水开。（同步阻塞）

　　老张以为本身有点傻。

2. 老张把水壶放到火上，去客厅看电视，时不时去厨房看看水开没有。（同步非阻塞）

　　老张仍是以为本身有点傻，因而变高端了，买了把会响笛的那种水壶。水开以后，能大声发出嘀~~~~的噪音。

3. 老张把响水壶放到火上，立等水开。（异步阻塞）

　　老张以为这样傻等意义不大。

4. 老张把响水壶放到火上，去客厅看电视，水壶响以前再也不去看它了，响了再去拿壶。（异步非阻塞）

　　老张以为本身聪明了。

所谓同步异步，只是对于水壶而言。普通水壶，同步；响水壶，异步。虽然都能干活，但响水壶能够在本身完工以后，提示老张水开了。这是普通水壶所不能及的。同步只能让调用者去轮询本身（状况2中），形成老张效率的低下。

所谓阻塞非阻塞，仅仅对于老张而言。立等的老张，阻塞；看电视的老张，非阻塞。状况1和状况3中老张就是阻塞的，媳妇喊他都不知道。虽然3中响水壶是异步的，可对于立等的老张没有太大的意义。因此通常异步是配合非阻塞使用的，这样才能发挥异步的效用。

入门教程

建立项目

在开始爬取以前，您必须建立一个新的Scrapy项目。进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

该命令将会建立包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg            # 项目的配置文件
    tutorial/             # 该项目的python模块。以后您将在此加入代码
        __init__.py
        items.py          # 项目中的item文件
        pipelines.py      # 项目中的pipelines文件
        settings.py       # 项目的设置文件
        spiders/          # 放置spider代码的目录
            __init__.py

编写第一个爬虫

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。其包含了一个用于下载的初始URL，以及如何跟进网页中的连接以及如何分析页面中的内容的方法。

如下为咱们的第一个Spider代码，保存在 tutorial/spiders 目录下的 quotes_spider.py文件中:

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

为了建立一个Spider，你必须继承 scrapy.Spider 类，且定义如下三个属性:

name: 用于区别Spider。该名字必须是惟一的，您不能够为不一样的Spider设定相同的名字。
start_urls: 包含了Spider在启动时进行爬取的url列表。所以，第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
parse() 是spider的一个方法。被调用时，每一个初始URL完成下载后生成的Response 对象将会做为惟一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据以及生成须要进一步处理的URL的 Request 对象。

运行咱们的爬虫

进入项目的根目录，执行下列命令启动spider:

scrapy crawl quotes

这个命令启动用于爬取 quotes.toscrape.com 的spider，你将获得相似的输出:

2017-05-10 20:36:17 [scrapy.core.engine] INFO: Spider opened
2017-05-10 20:36:17 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-05-10 20:36:17 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-05-10 20:36:17 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt> (referer: None)
2017-05-10 20:36:17 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/1/> (referer: None)
2017-05-10 20:36:17 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/2/> (referer: None)
2017-05-10 20:36:17 [quotes] DEBUG: Saved file quotes-1.html
2017-05-10 20:36:17 [quotes] DEBUG: Saved file quotes-2.html
2017-05-10 20:36:17 [scrapy.core.engine] INFO: Closing spider (finished)

提取数据

咱们以前只是保存了HTML页面，并无提取数据。如今升级一下代码，把提取功能加进去。至于如何使用浏览器的开发者模式分析网页，以前已经介绍过了。

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').extract_first(),
                'author': quote.css('small.author::text').extract_first(),
                'tags': quote.css('div.tags a.tag::text').extract(),
            }

再次运行这个爬虫，你将在日志里看到被提取出的数据：

2017-05-10 20:38:33 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>
{'tags': ['life', 'love'], 'author': 'André Gide', 'text': '“It is better to be hated for what you are than to be loved for what you are not.”'}
2017-05-10 20:38:33 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>
{'tags': ['edison', 'failure', 'inspirational', 'paraphrased'], 'author': 'Thomas A. Edison', 'text': "“I have not failed. I've just found 10,000 ways that won't work.”"}

保存爬取的数据

最简单存储爬取的数据的方式是使用 Feed exports:

scrapy crawl quotes -o quotes.json

该命令将采用 JSON 格式对爬取的数据进行序列化，生成quotes.json文件。

在相似本篇教程里这样小规模的项目中，这种存储方式已经足够。若是须要对爬取到的item作更多更为复杂的操做，你能够编写 Item Pipeline，tutorial/pipelines.py在最开始的时候已经自动建立了。

下一步

系列写到这里，组里对下一步的计划产生了分歧，本人的意思是系列已经接近尾声了，可领导的意思是，连载能够正式开始了！ What? 这不能忍啊！因此我当即作了一个艰难的决定，连载正式开始！详情下回分解，再见！