0.Python 爬虫之Scrapy入门实践指南（Scrapy基础知识）

目录

• 0.0、Scrapy基础
• 0.一、Scrapy 框架图
• 0.二、Scrapy主要包括了如下组件：
• 0.三、Scrapy简单示例以下：
• 0.四、Scrapy运行流程以下：
• 0.五、还有什么？
• 0.六、下一步是什么？

0.0、Scrapy基础

Python2：适合爬取非中文

Python3：适合爬取中文

Scrapy是一种快速的高级Web爬行和Web抓取框架，用于抓取网站并从其页面中提取结构化数据。它可用于各类用途，从数据挖掘到监控和自动化测试。

0.一、Scrapy 框架图

0.二、Scrapy主要包括了如下组件：

• 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心)
• 调度器(Scheduler): 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 能够想像成一个URL（抓取网页的网址或者说是连接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
• 下载器(Downloader): 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是创建在twisted这个高效的异步模型上的)
• 爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取本身须要的信息, 即所谓的实体(Item)。用户也能够从中提取出连接,让Scrapy继续抓取下一个页面
• 项目管道(Pipeline): 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证明体的有效性、清除不须要的信息。当页面被爬虫解析后，将被发送到项目管道，并通过几个特定的次序处理数据。
• 下载器中间件(Downloader Middlewares): 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
• 爬虫中间件(Spider Middlewares): 介于Scrapy引擎和爬虫之间的框架，主要工做是处理蜘蛛的响应输入和请求输出。
• 调度中间件(Scheduler Middewares): 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

0.三、Scrapy简单示例以下：

咱们将以最简单的方式运行蜘蛛，它在将访问并获取 http://quotes.toscrape.com上的名言（文本）、做者 ：

import scrapy


class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = [
        'http://quotes.toscrape.com/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('small.author::text').get(),
            }

        next_page = response.css('li.next a::attr("href")').get()

        if next_page:
            yield response.follow(response.urljoin(next_page), self.parse)

将以上代码放在一个文本文件中，将其命名为quotes_spider.py ，并使用 如下命令运行蜘蛛：

scrapy runspider quotes_spider.py -o quotes.json

运行上述命令后，代码将在命令运行的目录下建立一个名为quotes.json的文件，该文件包含JSON格式的列表，其中包含文本和做者，以下所示（为了更好的可读性，此处从新格式化）：

[
  {
    "text": "\u201cThe world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.\u201d",
    "author": "Albert Einstein"
  },
  {
    "text": "\u201cIt is our choices, Harry, that show what we truly are, far more than our abilities.\u201d",
    "author": "J.K. Rowling"
  },
  {
    "text": "\u201cThere are only two ways to live your life. One is as though nothing is a miracle. The other is as though everything is a miracle.\u201d",
    "author": "Albert Einstein"
  },
  ...省略97条...
 ]

0.四、Scrapy运行流程以下：

当咱们运行“scrapy runspider quotes_spider.py”命令时，Scrapy会查找Spider的定义并经过其爬虫引擎运行它；

经过向start_urls 属性中定义的URL发出请求（在上述示例中即：start_urls = ['http://quotes.toscrape.com/']）开始爬行，并调用默认回调方法parse，将响应对象做为参数进行传递；

在parse回调方法中，咱们使用CSS Selector循环遍历quote元素，并将提取的名言文本和做者生成Python dict，除此以外咱们还查找指向下一页的连接，将得到的下一页连接再次以一样的方式进行请求处理；

在这里，咱们能够看到Scrapy的一个主要优势：请求是 异步调度与处理的。

这意味着Scrapy不须要等待请求完成和处理，它能够在此期间发送另外一个请求或执行其余操做。

这也意味着即便某些请求失败或在处理错误时发生错误，其余请求也能够继续运行。

虽然这使得咱们可以进行很是快速的爬网（以容错的方式同时发送多个并发请求），但Scrapy还能够经过一些设置让咱们的蜘蛛以更加绅士的方式去爬网。

咱们能够执行如下操做：在每一个请求之间设置下载延迟，限制每一个域或每一个IP的并发请求数量，甚至使用自动限制扩展，以尝试自动解决这些问题。

注意：咱们在这里使用的是Feed导出生成JSON文件，除此以外咱们还能够轻松更改导出格式（例如XML或CSV），存储于后端服务（例如FTP或Amazon S3），还能够编写 item pipeline 用以将 items 存储在数据库中。

运行流程小结：

1. 首先，引擎从调度器中取出一个连接(URL)用于接下来的抓取；
2. 引擎把URL封装成一个请求(Request)传给下载器，下载器把资源下载下来，并封装成应答包(Response)；
3. 而后，爬虫解析Response；
4. 如果解析出实体（Item），则交给实体管道进行进一步的处理；
5. 如果解析出的是连接（URL），则把URL交给Scheduler等待抓取。

0.五、还有什么？

经过上述实践，咱们已经了解了如何使用Scrapy从网站中提取和存储项目，但这只是表面。

Scrapy提供了许多强大的功能，能够帮助咱们轻松高效地进行抓取，例如：

1. 内置支持使用扩展的CSS选择器和XPath表达式，让咱们能够高效地从HTML / XML源代码中选择和提取数据，并使用正则表达式提取辅助方法；

2. 提供交互式Shell控制台（支持IPython），用于尝试使用CSS和XPath表达式来抓取数据，在编写或调试蜘蛛时很是有用；

3. 内置支持以多种格式（JSON，CSV，XML）生成Feed导出并将其存储在多个后端服务（FTP、S三、数据库、本地文件系统）中；

4. 强大的编码支持和自动检测，用于处理外部，非标准和损坏的编码声明；

5. 强大的可扩展性支持，容许使用Signals（信号）和定义良好的API（中间件，扩展和 管道）插入本身的自定义功能；

6. 诸多的内置扩展和中间件用于处理：

   1. Cookie和会话处理
   2. HTTP功能，如压缩，身份验证，缓存
   3. User-Agent 代理请求
   4. robots.txt
   5. 爬行深度限制...

7. 一个Telnet控制台，用于链接到Scrapy进程内运行的Python控制台，用以调试爬虫；

8. 还有其余好东西，好比可重复使用的蜘蛛，能够从Sitemaps（站点地图：网站管理员向搜索引擎通知可用于爬行的网站页面的一种简单方法。）和XML / CSV Feed中抓取网站，自动下载与抓取项目相关联的图像（或任何其余媒体）的媒体管道，缓存DNS解析器等等！

0.六、下一步是什么？

接下来的步骤是安装Scrapy， 按照教程学习如何建立一个完整的Scrapy项目。感谢加入社区，谢谢你们的关注！

原文连接：

0.Python 爬虫之Scrapy入门实践指南（Scrapy基础知识）

OpsRoad（运维之路社区）

（完）