UA池和代理池
一 . 中间件
先上图 : 浏览器
中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。dom
做用 : scrapy
（1）引擎将请求传递给下载器过程当中， 下载中间件能够对请求进行一系列处理。好比设置请求的 User-Agent，设置代理等ide
（2）在下载器完成将Response传递给引擎中，下载中间件能够对响应进行一系列处理。好比进行gzip解压等。网站
spider : 从这里开始 ---> 做用 : 产生一个或者一批url / parse()对数据进行解析 url-->封装成请求对象-->引擎(接收spider提供的请求对象,可是尚未请求到数据) 引擎-->(请求对象)-->调度器(调度请求): 过滤器的类->去重(有可能会出现相同的请求对象)-->队列(数据类型,存的就是请求对象) 而后调度器从队列中调度出来一个请求对象给-->引擎-->给下载器-->请求对象-->互联网进行下载 互联网-->响应对象-->给下载器-->引擎(响应对象)-->给spider中的回调方法,进行解析 解析到的对象封装到item对象中-->引擎-->管道,持久化存储 而后 调度器再次从队列中调出来一个url,在......... 核心问题 : 引擎是用来触发事物的,可是引擎怎么知道在何时什么节点去触发那些事物? 解答 : 在工做过程当中,全部的数据流都会通过'引擎',也就是说 '引擎'是根据接收到的数据流来断定应该去触发那个事物 好比 : 当 spider 给'引擎'提交了个item,引擎一旦接收了个数据类型是item的时候, 引擎立刻就会知道下一步应该实例化管道,在掉管道中process_item方法 全部实例化的操做,事物的触发都是由引擎执行的
咱们主要使用下载中间件处理请求时,通常会对请求设置随机的User-Agent,设置随机的代理,目的是在防止爬虫网站的反爬机制.url
二 . UA池 : User-Agent池
做用 : 尽量多的将scrapy工程中的请求假装成不一样类型的浏览器身份.spa
操做流程 : 代理
- . 在下载中间件中拦截请求code
- . 将拦截到的请求的其你去头信息的UA进行篡改假装中间件
- . 在配置文件中开启下载中间件
案例演示 :
#导包 from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware import random #UA池代码的编写（单独给UA池封装一个下载中间件的一个类） class RandomUserAgent(UserAgentMiddleware): def process_request(self, request, spider): #从列表中随机抽选出一个ua值 ua = random.choice(user_agent_list) #ua值进行当前拦截到请求的ua的写入操做 request.headers.setdefault('User-Agent',ua) user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 " "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 " "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 " "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5", "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 " "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3", "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 " "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3", "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 " "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24" ]
三 . 代理池
做用 : 尽量多的讲scrapy工程中的请求的IP设置成不一样的
操做流程 :
- . 在下载中间件中拦截请求
- . 将拦截到的请求IP修改为某一代理ip
- . 在配置文件中开启下载中间件
案例演示 :
#批量对拦截到的请求进行ip更换 #单独封装下载中间件类 class Proxy(object): def process_request(self, request, spider): #对拦截到请求的url进行判断（协议头究竟是http仍是https） #request.url返回值：http://www.xxx.com h = request.url.split(':')[0] #请求的协议头 if h == 'https': ip = random.choice(PROXY_https) request.meta['proxy'] = 'https://'+ip else: ip = random.choice(PROXY_http) request.meta['proxy'] = 'http://' + ip #可被选用的代理IP PROXY_http = [ '153.180.102.104:80', '195.208.131.189:56055', ] PROXY_https = [ '120.83.49.90:9000', '95.189.112.214:35508', ]