LVS + Keepalived 实现高可用、负载均衡 Web 集群

时间  2019-11-11
标签 lvs keepalived 实现 可用 负载 均衡 web 集群 栏目 负载均衡 繁體版
原文   原文链接


简介：html

LVS 是 Linux Virtual Server 的简写，Linux 虚拟服务器的意思，是一个虚拟的服务器集群系统，此项目由章文嵩博士于 1998 年 5 月成立，是中国最先出现的自由软件项目之一。linux

LVS 负载均衡集群系统的优势：c++

一、提升吞吐量算法

想得到更高的吞吐量，在 LVS 中只需增长 Real-server 便可，其开销只是线性增加。如选择更换一台更高性能的服务器来得到至关的吞吐量，开销要大不少。shell

二、冗余vim

若是 LVS 中某台 Real-server 因为须要升级或其它缘由不能对外提供服务，其退出及恢复工做并不会对用户形成服务中断。后端

三、适应性bash

不论是须要吞吐量逐渐变化、仍是快速变化，服务器的增减对客户都是透明的。服务器

LVS 负载均衡集群系统的三种转发机制：网络

一、Virtual Server via NAT ( VS/NAT )

VS/NAT 网络地址转换模式，服务器能够运行任何支持 TCP/IP 协议的操做系统，它只须要一个公网 IP 地址配置在 LVS 主机上，后端真实服务器均可以使用私有地址。
它的缺点是扩充能力有限，当后端真实服务器达到必定数量时，LVS 本机有可能成为集群瓶颈，由于整个集群中的客户端请求和响应封包都要经过 LVS 负载均衡主机。

二、Virtual Server via IP Tunneling ( VS/TUN )

VS/TUN IP 隧道模式，负载均衡 LVS 主机只将请求分配到不一样的真实服务器，真实服务器将结果直接返回给客户端。这样 LVS 能够处理海量的请求，而不会成为集群系统瓶颈。
而且 IP 隧道模式不限制真实服务器位置，只要系统支持 IP 隧道协议而且网络可达就能够。多了一层 IP 隧道的开销，且并非全部系统都支持此协议。

三、Virtual Server via Direct Routing ( VS/DR )

VS/DR 直接路由模式，一样 LVS 主机只处理客户端到服务器端的链接，响应信息由真实服务器直接返回给客户端。
DR 模式要求全部真实服务器必须至少有一块网卡与 LVS 主机在同一物理网段中，且真实服务器网络设备或设备别名不做 ARP 响应。

Keepalived 起初是 LVS 设计的，专门用来监控集群系统中各个服务节点的状态，后来又加入了 VRRP（ 虚拟路由冗余协议 ）解决静态路由出现的单点故障问题，
经过 VRRP 协议能够实现网络不间断稳定运行。所以，Keepalived 不只具备服务器状态检测和故障隔离功能，还具备 HA Cluster 功能。

Keepalived 做为 LVS 的扩展项目，所以。Keepalived 能够与 LVS 无缝整合，轻松构建一套高性能的负载均衡集群系统。

环境描述：( CentOS 6.6_x86_64 minimal )

LVS VIP 192.168.214.50

LVS Master 192.168.214.20
LVS Backup 192.168.214.30

Real-Server-1 192.168.214.10
Real-Server-1 192.168.214.40

软件包下载地址：

Ipvsadm http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
Keepalived http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

1、安装环境依赖包

shell > yum install -y gcc gcc-c++ makepcre pcre-devel kernel-devel openssl-devel libnl-devel popt-devel popt-static

2、下载、安装 ipvsadm 、keepalived

shell > wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

shell > tar zxf ipvsadm-1.26.tar.gz

shell > cd ipvsadm-1.26

shell > make ; make install

shell > ipvsadm -v
ipvsadm v1.26 2008/5/15 (compiled with popt and IPVS v1.2.1)

## 安装仍是很简单的

shell > wget http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

shell > tar zxf keepalived-1.2.10.tar.gz

shell > cd keepalived-1.2.10

shell > ./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-504.23.4.el6.x86_64

## --sysconf 指定 keepalived.conf 的存放位置 --with-kernel-dir 指定使用内核源码中的头文件，即 include 目录

shell > make ; make install

shell > ln -s /usr/local/sbin/keepalived /sbin/

shell > keepalived -v
Keepalived v1.2.10 (07/01,2015)

## 安装也是蛮简单的

3、配置 keepalived.conf

shell > vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   router_id MASTER                                  ## keepalived 服务器标识符，能够随意设定（ 貌似也是全局惟一 ）
}

vrrp_instance VI_1 {                                 ## 定义一个名为 VI_1 的 VRRP 实例
    state MASTER                                     ## Keepalived 服务器角色，MASTER 为主、BACKUP 为备
    interface eth0                                   ## 指定 HA 监测网络接口
    virtual_router_id 51                             ## 虚拟路由标识，同一个 VRRP 实例使用惟一的标识，主备必须同样
    priority 100                                     ## 节点优先级，同一 VRRP 实例中 MASTER 的优先级必须大于 BACKUP
    advert_int 1                                     ## MASTER / BACKUP 之间同步检查间隔时间，单位 秒
    authentication {                                 ## 节点之间通讯验证类型、密码 ，同一 VRRP 实例中，MASTER / BACKUP 必须使用相同的密码才能够通讯
        auth_type PASS
        auth_pass 888
    }
    virtual_ipaddress {                              ## 虚拟 IP 地址，又称漂移 IP 。能够经过 ip add 在 MASTER 上查看是否绑定
        192.168.214.50
    }
}

virtual_server 192.168.214.50 80 {                   ## 定义虚拟服务器
    delay_loop 6                                     ## 定义健康检查时间间隔，单位 秒
    lb_algo rr                                       ## 负载均衡调度算法，支持 rr 、wrr 、lc 、wlc 、lblc 、sh 、dh 等
    lb_kind DR                                       ## LVS 负载均衡机制，支持 NAT 、TUN 、DR
    nat_mask 255.255.255.0                           ## 子网掩码
    persistence_timeout 120                          ## 会话保持时间，单位 秒。提供动态页面 session 保持功能，同一 IP 该值时间内被持续分配到同一台节点服务器上
    protocol TCP                                     ## 转发协议类型，支持 TCP 、UDP

    real_server 192.168.214.10 80 {                  ## 定义节点服务器
        weight 1                                     ## 节点权重值，数字越大权重越高，分配到的链接越多。主要用于后端节点服务器性能不统一
        notify_down /etc/keepalived/real_down.sh     ## 该节点服务器处于 DOWN 状态后执行的脚本
        TCP_CHECK {                                  ## 健康检测方式，支持 HTTP_GET 、SSL_GET 、TCP_CHECK 、SMTP_CHECK 、MISC_CHECK
           connect_port 80                           ## 检测端口，不指定时默认为 real_server 指定的端口
           connect_timeout 3                         ## 无响应超时时间，单位 秒
           nb_get_retry 3                            ## 重试次数
           delay_before_retry 3                      ## 重试间隔，单位 秒
        }
    }
    real_server 192.168.214.40 80 {                  ## 第二台节点服务器
         weight 1
         notify_down /etc/keepalived/real_down.sh
         TCP_CHECK {
         connect_port 80
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
         }
    }
}
shell > vim /etc/keepalived/real_down.sh

#!/bin/bash

Mail='admin@mail.com'

echo "Real Server State is DOWN" | mail -s "Keepalived Mail" $Mail

## 当 real server 处于 DOWN 状态时执行的脚本，LVS 要启动 Sendmail 、Postfix 或其它邮件服务

4、启动 Keepalived 并加入开机启动、配置防火墙规则

shell > /etc/init.d/keepalived start

shell > chkconfig --add keepalived

shell > chkconfig --level 35 keepalived on

shell > iptables -I INPUT 4 -p tcp --dport 80 -j ACCEPT

shell > service iptables save

## 如今使用 ip add 能够看到绑定了 VIP ，而且 /var/log/messages 日志文件中也有关于 VIP 绑定、real server 的检测结果

5、以上都是在 MASTER 主机的操做，下面配置 BACKUP 主机

## 步骤1、2、四彻底同样，主要将步骤三的 keepalived.conf 中 router_id 、state 、priority 修改成 BACKUP 、BACKUP 、80 便可

## 一样可使用 ip add 查看 VIP 信息，不过它如今是 BACKUP 状态，没有绑定 VIP 为正常，经过 /var/log/messages 日志文件能够看处处于 BACKUP 状态。

6、配置 Real-server ,后端节点服务器

Real-Server-1

shell > yum -y install httpd

shell > echo "welcome to Real-Server-1" > /var/www/html/index.html

shell > /etc/init.d/httpd start

shell > iptables -I INPUT -p tcp --dport 80 -j ACCEPT

Real-Server-2

shell > yum -y install httpd

shell > echo "welcome to Real-Server-2" > /var/www/html/index.html

shell > /etc/init.d/httpd start

shell > iptables -I INPUT -p tcp --dport 80 -j ACCEPT
shell > vim /etc/init.d/realserver.sh  ## Real-Server-1 / Real-Server-2 都要创建此脚本，并设为开机启动

#!/bin/bash

VIP='192.168.214.50'

. /etc/init.d/functions

case "$1" in
  start)
    /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
    echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
    echo " LVS Real-Server Start Success"
      ;;
    stop)
     /sbin/ifconfig lo:0 down
     echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
     echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
     echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
     echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
     echo " LVS Real-Server Stop Success"
      ;;
       *)
     echo "Usage: $0 ( start | stop )"
     exit 1
esac

shell > chmod a+x /etc/init.d/realserver.sh

shell > /etc/init.d/realserver.sh start

shell > echo "/etc/init.d/realserver.sh start" >> /etc/rc.local  ## 加入开机启动

## 此脚本用于节点服务器绑定 VIP ，并抑制响应 VIP 的 ARP 请求。
## 这样作的目的是为了避免让关于 VIP 的 ARP 广播时，节点服务器应答（ 由于节点服务器都绑定了 VIP ，若是不作设置它们会应答，就会乱套 ）

7、测试

一、首先单独测试节点服务器能不能访问

## 单独访问 192.168.214.10 192.168.214.40 ，若是能够看到页面显示 Welcome to Real-Server-1 和 Welcome to Real-Server-2 则节点服务器正常

二、分别查看节点服务器是否都绑定了 VIP

## 分别在节点服务器上使用 ifconfig lo:0 ，若是能够看到 lo:0 虚拟网卡被绑定了 VIP 192.168.214.50 则节点服务器正常

三、首先查看 MASTER 服务器有没有绑定 VIP ，状态是否是 MASTER ，检测后端节点服务器是否是成功

## 使用 ip add 查看是否绑定 VIP ，tail /var/log/messages 查看服务器状态是否是 MASTER ，检测节点服务器有没有链接成功信息：

Jul 2 17:38:44 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.10]:80 success.
Jul 2 17:38:44 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80

Jul 2 17:44:01 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.40]:80 success.
Jul 2 17:44:01 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 服务器状态信息：

Jul 2 13:07:48 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Entering MASTER STATE
Jul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) setting protocol VIPs.
Jul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.214.50
Jul 2 13:07:49 localhost Keepalived_healthcheckers[1015]: Netlink reflector reports IP 192.168.214.50 added

四、一样查看 BACKUP 服务器有没有绑定 VIP ，状态是否是 BACKUP ，检测后端节点服务器是否是成功

## 发现没有绑定 VIP 为正常，状态为 BACKUP 为正常，一样可以检测到后端节点服务器为正常，相关信息以下：

Jul 2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP_Instance(VI_1) Entering BACKUP STATE
Jul 2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP sockpool: [ifindex(2), proto(112), unicast(0), fd(11,12)]
Jul 2 17:27:06 localhost Keepalived_healthcheckers[1016]: Using LinkWatch kernel netlink reflector...

Jul 2 17:38:40 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.10]:80 success.
Jul 2 17:38:40 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80

Jul 2 17:44:01 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.40]:80 success.
Jul 2 17:44:01 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

五、客户端访问 VIP 测试负载均衡

## 直接访问 192.168.214.50 ，若是能够访问到页面证实成功。
## 当屡次访问后发现，页面并无发生变化，也就是说并无负载均衡。
## 在 MASTER 上使用 ipvsadm -Ln 命令看到的信息以下：

shell > ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.214.50:80 rr persistent 120
  -> 192.168.214.10:80            Route   1      0          0
  -> 192.168.214.40:80            Route   1      0          87

## 发现有 87 次访问都被分配到了 192.168.214.40 这台节点服务器上，这正常吗 ？
## 不要着急，这是正常的！还记得大明湖畔的夏雨荷吗？哦不，还记得 persistence_timeout 120 这个参数吗？
## 正由于设置了 session 保持时间，因此持续的访问被分配到了某一台节点服务器。
## 如今把此参数注释掉，测试一次（ 记得重启 keepalived ）。

shell > ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.214.50:80 rr
  -> 192.168.214.10:80            Route   1      0          26
  -> 192.168.214.40:80            Route   1      0          26

## 能够看到请求被均衡的分配到了现台节点服务器上（ rr 轮询调度算法 ），而且页面也在两台节点服务器上切换。

## 当节点服务器宕机后会发生什么 ？

shell > tail /var/log/messages

Jul 2 18:38:36 localhost Keepalived_healthcheckers[1636]: TCP connection to [192.168.214.40]:80 failed !!!
Jul 2 18:38:36 localhost Keepalived_healthcheckers[1636]: Removing service [192.168.214.40]:80 from VS [192.168.214.50]:80

## 检测失败，节点服务器 192.168.214.40 被从 IPVS 中移除

shell > ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.214.50:80 rr
  -> 192.168.214.10:80            Route   1      0          17

## 宕机的节点服务器被移除了

Jul 2 18:45:48 localhost Keepalived_healthcheckers[1705]: TCP connection to [192.168.214.40]:80 success.
Jul 2 18:45:48 localhost Keepalived_healthcheckers[1705]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 当节点服务器修复后，会自动将节点服务器加入集群中。

六、客户端访问 VIP 测试高可用

## 当 MASTER 服务器没法提供服务时，VIP 会在 MASTER 上自动移除，BACKUP 服务器会提高为 MASTER 状态，绑定 VIP 、接管服务。## 当 MASTER 修复加入网络后，会自动抢回 VIP ，成为 MASTER 身份。这再繁忙的网络环境中是不理想的。## 能够经过 nopreempt 参数来设置不抢占功能，设置此参数时须要注意，必须将以前修复的 MASTER 机器状态设为 BACKUP ，优先级还保持最高。

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程