Scrapy学习篇（五）之Spiders

时间 2019-11-12

标签 scrapy 学习 spiders 栏目 Python 繁體版

原文原文链接

Spiders

Spider类定义了如何爬取某个网站。包括了爬取的动做(例如:是否跟进连接)以及如何从网页的内容中提取结构化数据(爬取item)。简而言之，Spider就是你定义爬取的动做及分析某个网页(或者是有些网页)的地方。html

对spider来讲，爬取的循环相似以下:node

以初始的URL初始化Request，并设置回调函数。当该request下载完毕并返回时，将生成response，并做为参数传给该回调函数。spider中初始的request是经过调用start_requests() 来获取。start_requests() 读取start_urls中的URL，并以parse为回调函数生成 Request。正则表达式
在回调函数内分析返回的(网页)内容，返回 Item 对象、dict、 Request 或者一个包括三者的可迭代容器。返回的Request对象以后会通过Scrapy处理，下载相应的内容，并调用设置的callback函数(函数可相同)。数据库
在回调函数内，您可使用选择器(Selectors) (您也可使用BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容，并根据分析的数据生成item。dom
最后，由spider返回的item将被存到数据库(由某些 Item Pipeline 处理)或使用 Feed exports 存入到文件中。scrapy

scrapy为咱们提供了以下的一些spider类来应对不一样的爬取需求。ide

scrapy.spiders.Spider
Spider是最简单的spider。每一个其余的spider必须继承自该类(包括Scrapy自带其余spider以及你本身编写的spider)。Spider仅仅提供了 start_requests()的默认实现，读取并请求spider属性中的 start_urls, 并根据返回的结果(resulting responses)调用spider的 parse 方法。
scrapy.spiders.CrawlSpider
爬取通常网站经常使用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。好比一些网站的url一般是这样的http://www.example.com/123.html, http://www.example.com/456.html 博客类的网站一般会这样，咱们能够直接使用这个类提供的Rule来进行网址匹配。固然咱们也能够实现本身的spider。
scrapy.spiders.XMLFeedSpider
XMLFeedSpider被设计用于经过迭代各个节点来分析XML源(XML feed)。迭代器能够从 iternodes ， xml ， html 选择。鉴于 xml 以及 html 迭代器须要先读取全部DOM再分析而引发的性能问题，通常仍是推荐使用 iternodes 。不过使用 html 做为迭代器能有效应对错误的XML。
scrapy.spiders.CSVFeedSpider
该spider除了其按行遍历而不是节点以外其余和XMLFeedSpider十分相似。而其在每次迭代时调用的是 parse_row() 。
scrapy.spiders.SitemapSpider
SitemapSpider使您爬取网站时能够经过 Sitemaps 来发现爬取的URL。其支持嵌套的sitemap，并能从 robots.txt 中获取sitemap的url。

这里咱们着重学习前面两种，也是很是经常使用的两种。函数

scrapy.Spider

class scrapy.spiders.Spider
在这以前，咱们写的爬虫中，其实已经用到了这个类，咱们自定义的spider就是继承自该类，如今咱们详细的了解该类的一些经常使用的属性和方法，具体的详尽的信息能够参照官方文档。post

name
定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化)spider，因此其必须是惟一的。name是spider最重要的属性，并且必须。
通常就是以网站的URL去掉先后缀来命名，如www.baidu.com咱们的name就能够为baidu，简单明了。
allowed_domains
可选。包含了spider容许爬取的域名(domain)列表(list)。当 OffsiteMiddleware 启用时，域名不在列表中的URL不会被跟进。
start_urls
URL列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。所以，第一个被获取到的页面的URL将是该列表之一。后续的URL将会从获取到的数据中提取。
start_requests()
该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。该方法仅仅会被Scrapy调用一次，能够将其实现为生成器。
该方法的默认实现是使用 start_urls 的url生成Request。咱们能够重写该方法来实现定制。好比咱们想要一开始就实现一个post请求，经过默认的方法可定是不行的。所以咱们重写该方法以下。性能
```
class MySpider(scrapy.Spider):
    name = 'myname'

    def start_requests(self):
        return [scrapy.FormRequest("http://www.example.com/login",
                                   formdata={'user': 'john', 'pass': 'secret'},
                                   callback=self.logged_in)]

    def logged_in(self, response):
        print('登录成功')
        pass
```
parse(response)
当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。parse 负责处理response并返回处理的数据以及(/或)跟进的URL。
该方法及其余的Request回调函数必须返回一个包含 Request、dict 或 Item 的可迭代的对象。简单的来讲，所谓的回调函数，其实就是告诉spider，在拿到了网站的response之后，交给谁来进行处理后面的页面的解析工做。
closed(reason)
当spider关闭时，该函数被调用。

经常使用的Spider的属性和方法就是这些，下面是一个综合的例子。

import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'cnblog'
    allowed_domains = ['cnblogs.com']

    start_urls = ['http://www.cnblogs.com.com/123.html',
                  'http://www.cnblogs.com.com/234.html', 
                  'http://www.cnblogs.com.com/345.html'
                  ]
                  
    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            item = MyItem()
            item['title'] = h3
            yield item

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

请注意看，咱们能够在start_requests()方法里面请求多个URL，这会造成一个请求队列，而且可使用一样的解析方法对response进行解析，parse()方法的返回结果能够也仅能够有两种，官方文档上面说明是三种，其实item和字典咱们算作一种，两种返回值的例子都包含在上面，一种是item或者说是字典，scrapy会将item交给item pipeline去进行后续的处理，包括数据的清洗，存储；另外一种是Request，此时scrapy会将这个请求放入调度器请求队列，后续会对其进行请求解析。scrapy的引擎也是经过返回的两种类型来区别是交给pipeline仍是scheduler进行后续的处理。

scrapy.CrawlSpider

class scrapy.spiders.CrawlSpider
在爬取一些特殊类型的网站时，好比一些博客类网站，其网页的连接都会有一些特殊的形式，简单的例子，博客园的博客内容，http://www.cnblogs.com/cnkai/p/7397421.html,http://www.cnblogs.com/cnkai/p/7396835.html好比咱们想爬取个人博客内容，会发现，除了最后的几个数字不一样，其余的内容是相同的，所以，咱们就能够经过这个类来进行自动抓取类似的连接，而无需咱们本身定义。
CrawlSpider类定义了以下的属性和方法。

rules
一个包含一个(或多个) Rule 对象的集合(list)。每一个 Rule 对爬取网站的动做定义了特定表现。 Rule对象在下边会介绍。若是多个rule匹配了相同的连接，则根据他们在本属性中被定义的顺序，第一个会被使用。
parse_start_url(response)
当start_url的请求返回时，该方法被调用。该方法分析最初的返回值并必须返回一个 Item 对象或者一个 Request 对象或者一个可迭代的包含两者对象。

CrawlSpider须要配合scrapy.spiders.Rule类来实现定义规则
下面介绍scrapy.spiders.Rule类
class scrapy.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None)

link_extractor
这是一个 Link Extractor 对象。其定义了如何从爬取到的页面提取连接。
callback
这是一个callable或string(该spider中同名的函数将会被调用)。从link_extractor中每获取到连接时将会调用该函数。该回调函数接受一个response做为其第一个参数，并返回一个包含 Item 以及(或) Request 对象(或者这二者的子类)的列表(list)
cb_kwargs
包含传递给回调函数的参数(keyword argument)的字典。
follow
是一个布尔(boolean)值，指定了根据该规则从response提取的连接是否须要跟进。若是 callback 为None， follow 默认设置为 True ，不然默认为 False 。
process_links
是一个callable或string(该spider中同名的函数将会被调用)。从link_extractor中获取到连接列表时将会调用该函数。该方法主要用来过滤。
process_request
是一个callable或string(该spider中同名的函数将会被调用)。该规则提取到每一个request时都会调用该函数。该函数必须返回一个request或者None。 (用来过滤request)

下面是一个详细的样例

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'cnblog'
    allowed_domains = []
    start_urls = ['http://www.cnblogs.com']

    rules = (
        Rule(LinkExtractor(allow=('http://www.cnblogs.com/\w+/p/\d+.html', )), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        print(response.url)

简单的解释：
rules（）中的allow=('http://www.cnblogs.com/\w+/p/\d+.html', )表示咱们须要匹配的格式，其中包含了正则表达式，\w+表示匹配任意的字母数字下划线汉字至少一次，\d+表示匹配任意的数字至少一次，callback设置回调函数，follow=True表示跟进response里面的连接，最终的结果就是提取出全部的知足要求的链接，并打印出来，这个数量会很庞大，若是你的爬虫没有被ban的话，这里我简单的运行一下，能够看到下面的连接被打印了出来。且这些连接是知足咱们要求的格式。

总结

这一节主要是学习了scrapy的Spiders类，着重学习了scrapy.Spider和scrapy.CrawlSpider两个类，这两个也是咱们用的频度比较高的两个类，这两个须要咱们重点的掌握，其余的几个这里并无详细的解释，有兴趣的能够去查阅scrapy官方文档，或者在之后须要的时候去查阅也能够。