Scrapy框架-中间件

时间 2019-11-07

标签 scrapy 框架中间件栏目 Python 繁體版

原文原文链接

一.中间件中主要有3个函数方法

process_request:处理请求,默认返回值是None
process_response:处理响应,默认返回值是response对象
process_exception:处理错误信息,默认返回值是None

二.中间件三个方法的返回值返回的结果

1.process_request

返回None:会走下一个中间件的process_request正常往下走python

返回request对象:把对象返回给引擎再引擎再从头从新给第一个中间件的process_requestscrapy

返回response对象:把对象返回给给最后一个中间件process_response函数

抛出异常:返回一个中间件process_exceptioncode

2.process_response

返回None:不会传给上一个中间件process_response,中途端口中间件

返回request对象:把对象返回给引擎再引擎再从头从新给第一个中间件的process_request对象

返回response对象:给上一个中间件process_response正常往下走io

抛出异常:不会被process_exception 捕获,直接给errbackclass

3.process_exception

返回None::给上一个中间件process_response正常往下走exception

返回request对象:把对象返回给引擎再引擎再从头从新给第一个中间件的process_requestrequest

返回response对象:把对象返回给给最后一个中间件process_response

三.中间件的设置

setting.py中设置

#setting.py下面这段代码注释打开便可
DOWNLOADER_MIDDLEWARES = {
    #字典前面的key表明中间件的类
    #其中后面的参数表明优先级数字越小优先级越大
    'myscrapy.middlewares.MyscrapyDownloaderMiddleware': 543, 
}