Nginx负载均衡高可用---架构

1. Nginx负载均衡高可用

首先介绍一下Keepalived，它是一个高性能的服务器高可用或热备解决方案，Keepalived主要来防止服务器单点故障的发生问题，能够经过其与Nginx的配合实现web服务端的高可用。

Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性（HA）.VRRP (Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP（一个或多个），以下图所示：

这张图的意思是，咱们使用keepalived来管理两台设备的Nginx，并虚拟出一个IP，咱们如今两台装有Nginx的设备分别是192.168.101.3和192.168.101.4，那么咱们能够虚拟出一个192.168.156.xx的IP，外界请求直接访问虚拟IP而不是真正的Nginx，让虚拟IP去访问提供服务的Nginx（注意：高可用是指同一时间提供服务的只有一台设备，提供服务的设备挂掉以后，备份服务器便开始提供服务），而后再由Nginx去访问tomcat。

要实现nginx的高可用，须要实现备份机。

咱们拿两台虚拟机来搭建nginx高可用环境，这两台设备分别是192.168.101.3（主机名是nginx1）和192.168.101.4（主机名是nginx2）。

1.1. 什么是负载均衡高可用

nginx做为负载均衡器，全部请求都到了nginx（对外服务的惟一入口，惟一公网IP），可见nginx处于很是重点的位置，若是nginx服务器宕机后端web服务将没法提供服务，影响严重。

为了屏蔽负载均衡服务器的宕机，须要创建一个备份机。主服务器和备份机上都运行高可用（High Availability）监控程序，经过传送诸如“I am alive”这样的信息来监控对方的运行情况。当备份机不能在必定的时间内收到这样的信息时，它就接管主服务器的服务IP并继续提供负载均衡服务；当备份管理器又从主管理器收到“I am alive”这样的信息时，它就释放服务IP地址，这样的主服务器就开始再次提供负载均衡服务。

1.2. keepalived+nginx实现主备

一般说的双机热备是指两台机器都在运行，但并非两台机器都同时在提供服务。

当提供服务的一台出现故障的时候，另一台会立刻自动接管而且提供服务，并且切换的时间很是短。

1.2.1. 什么是keepalived

keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。

Keepalived的做用是检测web服务器的状态（健康监测），若是有一台web服务器死机，或工做出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工做正常后Keepalived自动将web服务器加入到服务器群中，这些工做所有自动完成，不须要人工干涉，须要人工作的只是修复故障的web服务器。

1.2.2. keepalived工做原理

keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，能够认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（VIP = Virtual IP Address，虚拟IP地址，该路由器所在局域网内其余机器的默认路由为该vip），master会发组播，当backup收不到VRRP包时就认为master宕掉了，这时就须要根据VRRP的优先级来选举一个backup当master。这样的话就能够保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和VRRP。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各类检查方式。VRRP模块是来实现VRRP协议的。

详细参考：Keepalived权威指南中文.pdf

1.2.3. keepalived+nginx实现主备过程

nginx和keepalived实现nginx高可用：

https://blog.csdn.net/u012453843/article/details/69668663

1.2.3.1. 初始状态：

初始时候，nginx主服务器正常，将vip绑定到自身，对外提供服务，从服务器始终与主服务器保持通讯，监测主服务器的健康状态。

1.2.3.2. 主机宕机：

当nginx主服务器宕机或发生异常，总之以任何理由形成服务器上的健康监测程序发生异常，没法和从服务器上的健康监测程序通讯，此时从服务器上的健康监测机制就会认为主服务器挂了，从而将vip绑定到自身，成功上位，充当主服务器的角色。

1.2.3.3. 主机恢复：

在keepalive机制中，主服务器终究是主服务器，一旦主服务器恢复，边重新绑定vip，继续充当主服务器，而从服务器又成为了热备。

1.2.4. 高可用环境

两台nginx，一主一备：192.168.101.3和192.168.101.4

两台tomcat服务器：192.168.101.五、192.168.101.6

1.2.5. 安装keepalived

一、分别在主备nginx上安装keepalived，参考“安装笔记”进行安装：

二、Keepalived安装与配置：

https://blog.csdn.net/xyang81/article/details/52554398

1.2.6. 配置keepalived

修改主和备nginx服务器上的keepalived 配置文件 /etc/keepalived/keepalived.conf 文件

1.2.6.1. 主nginx

修改主nginx下/etc/keepalived/keepalived.conf文件

! Configuration File for keepalived  #全局配置 global_defs { notification_email { #指定keepalived在发生切换时须要发送email 到的对象，一行一个 XXX@XXX.com } notification_email_ from XXX@XXX.com #指定发件人 #smtp_ server XXX. smtp.com #指定smtp服务器地址 #smtp _connect_timeout 30 #指定smtp链接超时时间 router_ id LVS_DEVEL #运行 keepalived机器的一个标识 }  vrrp_instance VI_1 {  state MASTER #标示状态为MASTER 备份机为BACKUP interface eth0 #设置实例绑定的网卡 virtual_ router_id 51 #同一实例下virtual_router_id必须相同 priority 100 #MASTER权重要高于BACKUP 好比BACKUP为99  advert_ int 1 #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒 authentication { #设置认证 auth_type PASS #主从服务器验证方式 auth_pass 8888 } virtual_ipaddress { #设置vip 192.168.101.100 #能够多个虚拟IP，换行便可 } }

1.2.6.2. 备nginx

修改备nginx下 /etc/keepalived /keepalived.conf文件

配置备nginx时须要注意：须要修改state为BACKUP , priority比MASTER低，virtual_router_id和master的值一致

! Configuration File for keepalived  #全局配置 global_defs { notification_email { #指定keepalived在发生切换时须要发送email到的对象，一行一个 XXX@XXX.com } notification_email_ from XXX@XXX.com #指定发件人 #smtp_server XXX. smtp.com #指定smtp服务器地址 #smtp_connect_ timeout 30 #指定smtp链接超时时间 router_id LVS_ DEVEL #运行keepalived机器的一个标识 }  vrrp_instance VI_1 {  state BACKUP #标示状态为MASTER 备份机为BACKUP interface eth0 #设置实例绑定的网卡 virtual_router_id 51 #同一实例下virtual_router_id必须相同 priority 99 #MASTER权重要高于BACKUP 好比BACKUP为99  advert_int 1 #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒 authentication { #设置认证 auth_type PASS #主从服务器验证方式 auth_pass 8888 } virtual_ipaddress { #设置vip 192.168.101.100 #能够多个虚拟IP，换行便可 } }

1.2.7. 测试

主备nginx都启动keepalived及nginx。

service keepalived start

./nginx

1.2.7.1. 初始状态

查看主nginx的eth0设置：

vip绑定在主nginx的eth0上。

查看备nginx的eth0设置：

vip没有绑定在备nginx的eth0上。

访问ccc.test.com，能够访问。

1.2.7.2. 主机宕机

将主nginx的keepalived中止或将主nginx关机(至关于模拟宕机)，查看主nginx的eth0：

eth0没有绑定vip

注意这里模拟的是中止 keepalived进程没有模拟宕机，因此还要将nginx进程也中止表示主nginx服务没法提供。

查看备nginx的eth0：

vip已经漂移到备nginx。

访问ccc.test.com，能够访问。

1.2.7.3. 主机恢复

将主nginx的keepalived和nginx都启动。

查看主nginx的eth0：

查看备nginx的eth0：

vip漂移到主nginx。

查看备nginx的eth0：

eth0没有绑定vip

访问：ccc.test.com，正常访问。

注意：主nginx恢复时必定要将nginx也启动（一般nginx启动要加在开机启动中），不然即便vip漂移到主nginx也没法访问。

1.2.8. 解决nginx进程和keepalived不一样时存在问题

1.2.8.1. 问题描述

keepalived是经过检测keepalived进程是否存在判断服务器是否宕机，若是keepalived进程在可是nginx进程不在了那么keepalived是不会作主备切换，因此咱们须要写个脚原本监控nginx进程是否存在，若是nginx不存在就将keepalived进程杀掉。

1.2.1.2. nginx进程检测脚本

在主nginx上须要编写nginx进程检测脚本（check_nginx.sh），判断nginx进程是否存在，若是nginx不存在尝试重启nginx，若没法启动，就将keepalived进程杀掉，check_nginx.sh内容以下：

#!/bin/sh # 若是进程中没有nginx，尝试重启nginx进程，若仍是没有，则将keepalived进程kill掉、 A=`ps -C nginx --no-header |wc -l` ## 查看是否有nginx进程 把值赋给变量A  if [ $A -eq 0 ];then  /usr/local/nginx/sbin/nginx　　　　## 重启nginx进程  sleep 2　　　　　　　　　　　　　　　　## 等待时间 if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then　　## 仍是没有nginx进程  killall keepalived　　　　　　　## 杀掉keepalived fi fi

将check_nginx.sh拷贝至/etc/keepalived下，

脚本测试：

将nginx中止，将keepalived启动，执行脚本：sh /etc/keepalived/check_nginx.sh

从执行能够看出自动将keepalived进程kill掉了。

1.2.8.3. 修改keepalived.conf

修改主nginx的keepalived.conf，添加脚本定义检测：参考keepalived之vrrp_script详解；

注意下边红色标识地方：

#全局配置  global_defs {  notification_email { #指定keepalived在发生切换时须要发送email到的对象，一行一个  XXX@XXX.com  }  notification_email_from miaoruntu@itcast.cn #指定发件人  #smtp_server XXX.smtp.com #指定smtp服务器地址  #smtp_connect_timeout 30 #指定smtp链接超时时间  router_id LVS_DEVEL #运行keepalived机器的一个标识  } ## keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。  ##若是脚本执行结果为0,而且weight配置的值大于0,则优先级相应的增长。若是脚本执行结果非0,  ##而且weight配置的值小于 0,则优先级相应的减小。其余状况,维持本来配置的优先级,即配置文件中priority对应的值。 vrrp_script check_nginx {  script "/etc/keepalived/check_nginx.sh" ##监控脚本  interval 2 ##时间间隔，2秒  weight -20 ##权重  }  vrrp_instance VI_1 {  state MASTER #标示状态为MASTER 备份机为BACKUP  interface eth0 #设置实例绑定的网卡  virtual_router_id 51 #同一实例下virtual_router_id必须相同  priority 100 #MASTER权重要高于BACKUP 好比BACKUP为80  advert_int 1 #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒  authentication { #设置认证  auth_type PASS #主从服务器验证方式  auth_pass 8888  }  track_script {  check_nginx #监控脚本  }  virtual_ipaddress { #设置vip  192.168.101.100 #能够多个虚拟IP，换行便可  }  }

修改后重启keepalived

接着看下面这段配置，这段配置的意思是，每隔2秒中去执行/etc /keepalived /nginx_check.sh 脚本一次，这项检查从开始便一直进行，interval表示间隔时间，weight -20的意思是，脚本执行成功后把当前节点的优先级下降20。

vrrp_script chk_nginx { script "/etc/keepalived/nginx_check.sh" interval 2 weight -20 }

state MASTER表示该节点角色定义为MASTER，interface eth0是指虚拟机的网卡是eth0。virtual _ router _ id 51这项配置很是重要，两个节点的这项配置的值必须同样，不然会出现乱七八糟的问题，这里我把virtual_router_id的值设置为51。mcast_src_ip 192.168.101.3这项配置是指定当前节点的真实IP。priority 100的意思是优先级，这里暂且设置为100，固然也能够是其它值。优先级在keepalived实现高可用方面起着相当重要的做用，keepalived服务器就是根据优先级来选择当前提供服务的设备的，192.168.101.3刚开始设置的优先级是100,192.168.101.4 刚开始设置的优先级是 90，这样keepalived 一开始去检查优先级，发现192.168.101.3 这台设备的优先级高，因而便让该设备对外提供服务，当192.168.101.3这台设备的nginx挂掉后，因为nginx_check.sh 脚本每两秒执行一次，发现192.168.101.3这个节点没有nginx进程后便尝试进行从新启动nginx，若是从新启动仍是不行的话，就杀掉全部的keepalived进程，并告诉keepalived服务器192.168.101.3 这个节点的nginx 挂掉了同时会把这个节点的优先级减20，从而优先级变为了80，这样下次keepalived 来检查优先级发现192.168.101.4这个节点的优先级比较高（90），因而便让192.168.101.4 这个节点对外提供服务，同理，这个节点发生故障的话，也会再去让另一个节点来提供服务，这就实现了高可用。

Keepalived中Master和Backup角色选举策略：https://www.linuxidc.com/Linux/2014-08/ 105884 . htm

1.2.8.4. Keepalived中Master和Backup角色选举策略

在Keepalived集群中，其实并无严格意义上的主、备节点，虽然能够在Keepalived配置文件中设置“state”选项为“MASTER”状态，可是这并不意味着此节点一直就是Master角色。控制节点角色的是Keepalived配置文件中的“priority”值，但并它并不控制全部节点的角色，另外一个能改变节点角色的是在vrrp_script模块中设置的“weight”值，这两个选项对应的都是一个整数值，其中“weight”值能够是个负整数，一个节点在集群中的角色就是经过这两个值的大小决定的。

在一个一主多备的Keepalived集群中，“priority”值最大的将成为集群中的Master节点，而其余都是Backup节点。在Master节点发生故障后，Backup节点之间将进行“民主选举”，经过对节点优先级值“priority”和““weight”的计算，选出新的Master节点接管集群服务。

在vrrp_script模块中，若是不设置“weight”选项值，那么集群优先级的选择将由Keepalived配置文件中的“priority”值决定，而在须要对集群中优先级进行灵活控制时，能够经过在vrrp_script模块中设置“weight”值来实现。下面列举一个实例来具体说明。

假定有A和B两节点组成的Keepalived集群，在A节点keepalived.conf文件中，设置“priority”值为100，而在B节点keepalived.conf文件中，设置“priority”值为80，而且A、B两个节点都使用了“vrrp_script”模块来监控nginx服务，同时都设置“weight”值为10，那么将会发生以下状况：

在两节点都启动Keepalived服务后，正常状况是A节点将成为集群中的Master节点，而B自动成为Backup节点，此时将A节点的nginx服务关闭，经过查看日志发现，并无出现B节点接管A节点的日志，B节点仍然处于Backup状态，而A节点依旧是Master状态，在这种状况下整个HA集群将失去意义。

1. “weight”值为正数时

2. “weight”值为负数时

以上两种状况的更新策略参考博文：keepalived之vrrp_script详解

1.2.8.5 测试

回到负载均衡高可用的初始状态，保证主、备上的keepalived、nginx所有启动。

中止主nginx服务

观察keepalived日志：

tail -f /var/log/keepalived.log

查看keepalived进程已经不存在。

查看eth0已经没有绑定vip。