Nginx实战之--后端节点健康检查

时间 2019-11-06

原文原文链接

公司前一段对业务线上的nginx作了整理，重点就是对nginx上负载均衡器的后端节点作健康检查。目前，nginx对后端节点健康检查的方式主要有3种，这里列出：html

一、ngx_http_proxy_module 模块和ngx_http_upstream_module模块（自带）
    官网地址：http://nginx.org/cn/docs/http/ngx_http_proxy_module.html#proxy_next_upstream

二、nginx_upstream_check_module模块
    官网网址：https://github.com/yaoweibin/nginx_upstream_check_module

三、ngx_http_healthcheck_module模块
    官网网址：http://wiki.nginx.org/NginxHttpHealthcheckModule

公司业务线上对后端节点的健康检查是经过nginx_upstream_check_module模块作的，这里我将分别介绍这三种实现方式以及之间的差别性。 java

1、ngx_http_proxy_module 模块和ngx_http_upstream_module模块（自带）mysql

严格来讲，nginx自带是没有针对负载均衡后端节点的健康检查的，可是能够经过默认自带的ngx_http_proxy_module 模块和ngx_http_upstream_module模块中的相关指令来完成当后端节点出现故障时，自动切换到健康节点来提供访问。linux

这里列出这两个模块中相关的指令：nginx

ngx_http_proxy_module 模块中的 proxy_connect_timeout 指令、proxy_read_timeout指令和proxy_next_upstream指令git

语法: proxy_connect_timeout time;
默认值:    proxy_connect_timeout 60s;
上下文:    http, server, location

设置与后端服务器创建链接的超时时间。应该注意这个超时通常不可能大于75秒。github

语法: proxy_read_timeout time;
默认值:    proxy_read_timeout 60s;
上下文:    http, server, location

定义从后端服务器读取响应的超时。此超时是指相邻两次读操做之间的最长时间间隔，而不是整个响应传输完成的最长时间。若是后端服务器在超时时间段内没有传输任何数据，链接将被关闭。sql

语法: proxy_next_upstream error | timeout | invalid_header | http_500 | http_502 | http_503 | http_504 |http_404 | off ...;
默认值:    proxy_next_upstream error timeout;
上下文:    http, server, location

指定在何种状况下一个失败的请求应该被发送到下一台后端服务器：json

error      # 和后端服务器创建链接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现错误
timeout    # 和后端服务器创建链接时，或者向后端服务器发送请求时，或者从后端服务器接收响应头时，出现超时
invalid_header  # 后端服务器返回空响应或者非法响应头
http_500   # 后端服务器返回的响应状态码为500
http_502   # 后端服务器返回的响应状态码为502
http_503   # 后端服务器返回的响应状态码为503
http_504   # 后端服务器返回的响应状态码为504
http_404   # 后端服务器返回的响应状态码为404
off        # 中止将请求发送给下一台后端服务器

只有在没有向客户端发送任何数据之前，将请求转给下一台后端服务器才是可行的。也就是说，若是在传输响应到客户端时出现错误或者超时，这类错误是不可能恢复的。后端

范例以下：

http {
proxy_next_upstream http_502 http_504 http_404 error timeout invalid_header;
}

ngx_http_upstream_module模块中的server指令

语法: server address [parameters];
默认值:    —
上下文:    upstream

范例以下：

upstream name {                server 10.1.1.110:8080 max_fails=1 fail_timeout=10s;
                server 10.1.1.122:8080 max_fails=1 fail_timeout=10s;
        }

下面是每一个指令的介绍：

max_fails=number

# 设定Nginx与服务器通讯的尝试失败的次数。在fail_timeout参数定义的时间段内，若是失败的次数达到此值，Nginx就认为服务器不可用。在 下一个fail_timeout时间段，服务器不会再被尝试。 失败的尝试次数默认是1。设为0就会中止统计尝试次数，认为服务器是一直可用的。 你能够 经过指令proxy_next_upstream、fastcgi_next_upstream和 memcached_next_upstream来配 置什么是失败的尝试。 默认配置时，http_404状态不被认为是失败的尝试。

fail_timeout= time

#设定服务器被认为不可用的时间段以及统计失败尝试次数的时间段。在这段时间中，服务器失败次数达到指定的尝试次数，服务器就被认为不可用。默认状况下，该超时时间是10秒。

在实际应用当中，若是你后端应用是可以快速重启的应用，好比nginx的话，自带的模块是能够知足需求的。可是须要注意。若是后端有不健康节点，负载均衡器依然会先把该请求转发给该不健康节点，而后再转发给别的节点，这样就会浪费一次转发。

但是，若是当后端应用重启时，重启操做须要好久才能完成的时候就会有可能拖死整个负载均衡器。此时，因为没法准确判断节点健康状态，致使请求handle 住，出现假死状态，最终整个负载均衡器上的全部节点都没法正常响应请求。因为公司的业务程序都是java开发的，所以后端主要是nginx集群和 tomcat集群。因为tomcat重启应部署上面的业务不一样，有些业务启动初始化时间过长，就会致使上述现象的发生，所以不是很建议使用该模式。

而且ngx_http_upstream_module模块中的server指令中的max_fails参数设置值，也会和 ngx_http_proxy_module 模块中的的proxy_next_upstream指令设置起冲突。好比若是将max_fails设置为 0，则表明不对后端服务器进行健康检查，这样还会使fail_timeout参数失效（即不起做用）。此时，其实咱们能够经过调节 ngx_http_proxy_module 模块中的 proxy_connect_timeout 指令、proxy_read_timeout指 令，经过将他们的值调低来发现不健康节点，进而将请求往健康节点转移。

2、nginx_upstream_check_module模块

这个是淘宝技术团队开发的 nginx 模块 nginx_upstream_check_module，经过它能够用来检测后端 realserver 的健康状态。若是后端 realserver 不可用，则因此的请求就不会转发到该节点上。

在淘宝本身的 tengine上是自带了该模块的，你们能够访问淘宝tengine的官网来获取该版本的nginx，官方地址：http://tengine.taobao.org/。

若是咱们没有使用淘宝的tengine 的话，能够经过补丁的方式来添加该模块到咱们本身的 nginx 中。咱们业务线上就是采用该方式进行添加的。

下面是部署流程！

一、下载nginx_upstream_check_module模块

[root@localhost ~]# cd /usr/local/src
wget https://codeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master
unzip master
[root@localhost /usr/local/src]# ll -d nginx_upstream_check_module-master
drwxr-xr-x. 6 root root 4096 Dec  1 02:28 nginx_upstream_check_module-master

二、为nginx打补丁

[root@localhost /usr/local/src]# cd nginx-1.6.0 # 进入nginx的源码目录
[root@localhost nginx-1.6.0]# patch -p1 < ../nginx_upstream_check_module-master/check_1.5.12+.patch
[root@localhost nginx-1.6.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx-1.6.0 --with-http_ssl_module --with-openssl=/usr/local/src/openssl-0.9.8q --with-pcre=/usr/local/src/pcre-8.32 --add-module=/usr/local/src/nginx_concat_module/ --add-module=../nginx_upstream_check_module-master/
[root@localhost nginx-1.6.0]# make (注意：此处只make，编译参数须要和以前的同样)
[root@localhost nginx-1.6.0]# mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx-1.6.0.bak
[root@localhost nginx-1.6.0]# cp ./objs/nginx /usr/local/nginx/sbin/
[root@localhost nginx-1.6.0]# /usr/local/nginx/sbin/nginx -t  # 检查下是否有问题
[root@localhost nginx-1.6.0]# kill -USR2 `cat /usr/local/nginx/logs/nginx.pid`

三、在nginx.conf配置文件里面的upstream加入健康检查，以下：

upstream name {
       server 192.168.0.21:80;
       server 192.168.0.22:80;
       check interval=3000 rise=2 fall=5 timeout=1000 type=http;
        
}

上面配置的意思是，对name这个负载均衡条目中的全部节点，每一个3秒检测一次，请求2次正常则标记 realserver状态为up，若是检测 5 次都失败，则标记 realserver的状态为down，超时时间为1秒。

这里列出nginx_upstream_check_module模块所支持的指令意思：

语法: check interval=milliseconds [fall=count] [rise=count] [timeout=milliseconds] [default_down=true|false] [type=tcp|http|ssl_hello|mysql|ajp] [port=check_port]
默认值: 若是没有配置参数，默认值是：interval=30000 fall=5 rise=2 timeout=1000 default_down=true type=tcp
上下文: upstream

该指令能够打开后端服务器的健康检查功能。

指令后面的参数意义是：

- interval：向后端发送的健康检查包的间隔。    
- fall(fall_count): 若是连续失败次数达到fall_count，服务器就被认为是down。
- rise(rise_count): 若是连续成功次数达到rise_count，服务器就被认为是up。
- timeout: 后端健康请求的超时时间。
- default_down: 设定初始时服务器的状态，若是是true，就说明默认是down的，若是是false，就是up的。默认值是true，也就是一开始服务器认为是不可用，要等健康检查包达到必定成功次数之后才会被认为是健康的。
- type：健康检查包的类型，如今支持如下多种类型
        - tcp：简单的tcp链接，若是链接成功，就说明后端正常。
        - ssl_hello：发送一个初始的SSL hello包并接受服务器的SSL hello包。
        - http：发送HTTP请求，经过后端的回复包的状态来判断后端是否存活。
        - mysql: 向mysql服务器链接，经过接收服务器的greeting包来判断后端是否存活。
        - ajp：向后端发送AJP协议的Cping包，经过接收Cpong包来判断后端是否存活。
- port: 指定后端服务器的检查端口。你能够指定不一样于真实服务的后端服务器的端口，好比后端提供的是443端口的应用，你能够去检查80端口的状态来判断后端健康状
况。默认是0，表示跟后端server提供真实服务的端口同样。该选项出现于Tengine-1.4.0。

语法: check_keepalive_requests request_num
默认值: 1
上下文: upstream

该指令能够配置一个链接发送的请求数，其默认值为1，表示Tengine完成1次请求后即关闭链接。

语法: check_http_send http_packet
默认值: "GET / HTTP/1.0\r\n\r\n"
上下文: upstream

该指令能够配置http健康检查包发送的请求内容。为了减小传输数据量，推荐采用"HEAD"方法。

当采用长链接进行健康检查时，需在该指令中添加keep-alive请求头，如："HEAD / HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。同时，在采用"GET"方法的状况下，请求uri的size不宜过大，确保能够在1个interval内传输完成，不然会被健康检查模块视为后端服务器或网络异常。

语法: check_http_expect_alive [ http_2xx | http_3xx | http_4xx | http_5xx ]
默认值: http_2xx | http_3xx
上下文: upstream

该指令指定HTTP回复的成功状态，默认认为2XX和3XX的状态是健康的。

语法: check_shm_size size
默认值: 1M
上下文: http

全部的后端服务器健康检查状态都存于共享内存中，该指令能够设置共享内存的大小。默认是1M，若是你有1千台以上的服务器并在配置的时候出现了错误，就可能须要扩大该内存的大小。

语法: check_status [html|csv|json]
默认值: check_status html
上下文: location

显示服务器的健康状态页面。该指令须要在http块中配置。

在Tengine-1.4.0之后，你能够配置显示页面的格式。支持的格式有: html、csv、 json。默认类型是html。

你也能够经过请求的参数来指定格式，假设‘/status’是你状态页面的URL， format参数改变页面的格式，好比：

/status?format=html
/status?format=csv
/status?format=json

同时你也能够经过status参数来获取相同服务器状态的列表，好比：

/status?format=html&status=down
/status?format=csv&status=up

下面是一个状态也配置的范例：

http {
      server {
            location /nstatus {
                   check_status;
                   access_log off;
                   #allow IP;
                   #deny all;
            }
      }
}

配置完毕后，重启nginx。此时经过访问定义好的路径，就能够看到当前 realserver 实时的健康状态啦。

效果以下图：

realserver 都正常的状态：

一台 realserver 故障的状态：

以上就是nginx_upstream_check_module模块的相关信息，更多的信息你们能够去该模块的淘宝tengine页面和github上该项目页面去查看，下面是访问地址：

http://tengine.taobao.org/document_cn/http_upstream_check_cn.html

https://github.com/yaoweibin/nginx_upstream_check_module

在生产环境的实施应用中，须要注意的有 2 点：

一、主要定义好type。因为默认的type是tcp类型，所以假设你服务启动，不论是否初始化完毕，它的端口都会起来，因此此时前段负载均衡器为认为该服务已经可用，实际上是不可用状态。

二、注意check_http_send值的设定。因为它的默认值是"GET / HTTP/1.0\r\n\r\n"。假设你的应用是经过http://ip/name访问的，那么这里你的check_http_send值就须要更改成"GET /name HTTP/1.0\r\n\r\n"才能够。针对采用长链接进行检查的，这里增长keep-alive请求头，即"HEAD /name HTTP/1.1\r\nConnection: keep-alive\r\n\r\n"。若是你后端的tomcat是基于域名的多虚拟机，此时你须要经过check_http_send定义host，否则每次访问都是失败，范例：check_http_send "GET /mobileapi HTTP/1.0\r\n HOST www.redhat.sx\r\n\r\n";

3、ngx_http_healthcheck_module模块

除了上面两个模块，nginx官方在早期的时候还提供了一个 ngx_http_healthcheck_module 模块用来进行nginx后端节点的健康检查。nginx_upstream_check_module模块就是参照该模块的设计理念进行开发的，所以在使用和效果上都大同小异。可是须要注意的是，ngx_http_healthcheck_module 模块仅仅支持nginx的1.0.0版本，1.1.0版本之后都不支持了！所以，对于目前常见的生产环境上都不会去用了，这里仅仅留个记念，给你们介绍下这个模块！

具体的使用方法，这里能够贴出几篇靠谱的博文地址以及官方地址：

http://wiki.nginx.org/HttpHealthcheckModule

https://github.com/cep21/healthcheck_nginx_upstreams/blob/master/README