小白学 Python 爬虫（37）：爬虫框架 Scrapy 入门基础（五） Spider Middleware

{
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
    'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
    'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
    'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}

一样和 Downloader Middleware 同样的是， Spider Middleware 会被加入到 SPIDER_MIDDLEWARES 的设置中，该设置会和 Scrapy 中定义的 SPIDER_MIDDLEWARES_BASE 合并，根据数值的大小进行优先级排序，第一个 Middleware 是靠近引擎的，最后一个 Middleware 是靠近 Spider 的。

自定义爬虫中间件

Scrapy 内置的 Spider Middleware 只提供了一些基础的功能，咱们若是须要扩展其功能，实现一个自定义的爬虫中间件，只须要实现如下某几个方法便可。

核心方法以下：

process_spider_input(response, spider)
process_spider_output(response, result, spider)
process_spider_exception(response, exception, spider)
process_start_requests(start_requests, spider)

只须要实现其中一个方法就能够定义一个爬虫中间件。

process_spider_input(response, spider)

参数：

response （response 对象）–正在处理的响应

spider （spider 对象）–此响应预期用于的蜘蛛

对于经过 Spider Middleware 并进入 Spider 进行处理的每一个响应，都会调用此方法。

process_spider_input() )应该返回 None 或引起异常。

若是返回 None ，则 Scrapy 将继续处理此响应，并执行全部其余中间件，直到最终将响应交给蜘蛛进行处理。

若是引起异常， Scrapy 不会费心调用任何其余蜘蛛中间件 process_spider_input() ，而且会在存在错误时调用请求 errback ，不然它将启动 process_spider_exception() 链。 errback 的输出在另外一个方向上链回，以供 process_spider_output() 处理，或者若是引起异常，则连接到 process_spider_exception() 。

process_spider_output(response, result, spider)

参数：

response （ response 对象）–从蜘蛛生成此输出的响应

result （可迭代的 Request ， dict 或 Item 对象）– spider 返回的结果

spider （ spider 对象）–正在处理其结果的蜘蛛

处理完响应后，将使用 Spider 从返回的结果中调用此方法。

process_spider_output() 必须返回 Request ， dict 或 Item 对象的可迭代对象。

process_spider_exception(response, exception, spider)

参数：

response （ response 对象）–引起异常时正在处理的响应

exception （Exception对象）–引起的异常

spider （ spider 对象）–引起异常的蜘蛛

当 Spider 或 process_spider_output() 方法（来自先前的 Spider 中间件）引起异常时，将调用此方法。

process_spider_exception() 应该返回 None 或可迭代的 Request ， dict 或 Item 对象。

若是返回 None ，则 Scrapy 将继续处理此异常，并在如下中间件组件中执行任何其余 process_spider_exception() ，直到没有剩余中间件组件且异常到达引擎为止（记录并丢弃该异常）。

若是返回可迭代，则从下一个蜘蛛中间件开始， process_spider_output() 管道将启动，而且不会调用其余 process_spider_exception() 。

process_start_requests(start_requests, spider)

参数：

start_requests （可迭代的 Request ）–启动请求

spider （ spider 对象）–启动请求所属的蜘蛛

此方法是由 Spider 的启动请求调用的，其工做原理与 process_spider_output() 方法相似，不一样之处在于它没有关联的响应，而且仅返回请求（不返回项目）。

它接收一个可迭代的（在 start_requests 参数中），而且必须返回另外一个可迭代的 Request 对象。

在实际使用过程当中， Spider Middleware 的使用率并不如 Downloader Middleware 高，小编这里就不作示例了，在一些必要的状况下， Spider Middleware 能够用做一些数据处理。

参考

https://docs.scrapy.org/en/latest/topics/spider-middleware.html

原文出处：https://www.cnblogs.com/babycomeon/p/12182537.html