18.11 LVS DR模式搭建 18.12 keepalived + LVS

18.11 LVS DR模式搭建

准备工做

准备三台机器

• 分发器，也叫调度器（简写为dir）88.15

• rs1 88.5

• rs2 88.10

• vip 88.200

dir上编写脚本

vim /usr/local/sbin/lvs_dr.sh 
内容以下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward  #打开端口转发
ipv=/usr/sbin/ipvsadm    #定义变量
vip=192.168.88.200       #定义变量
rs1=192.168.88.5         #定义变量
rs2=192.168.88.10        #定义变量
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up #给网卡设置一个虚拟网卡
route add -host $vip dev ens33:2  #添加虚拟网卡的路由
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1  #这里-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1  #这里-g 指定DR模式

执行ifdown和ifup是为了清除执行脚本时设定的虚拟网卡IP，避免重复执行脚本时会重复设定。

两台rs上编写脚本

vim /usr/local/sbin/lvs_rs.sh
内容以下
#/bin/bash
vip=192.168.88.200
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

脚本定义/lo/arp_ignore和/all/arp_ignore：

arp_ignore:定义对目标地址为本地IP的ARP询问不一样的应答模式

0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求

1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求

2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内

3 - 不回应该网络界面的arp请求，而只对设置的惟一和链接地址作出回应

4-7 - 保留未使用

8 -不回应全部（本地地址）的arp查询

脚本定义/lo/arp_announce和/all/arp_announce：

arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，做出相应级别的限制: 肯定不一样程度的限制,宣布对来自本地源IP地址发出Arp请求的接口

0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址

1 -尽可能避免不在该网络接口子网段的本地地址作出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候颇有用.此时会检查来访IP是否为全部接口上的子网段内ip之一.若是改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.

2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通讯的本地地址.首要是选择全部的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 若是没有合适的地址被发现,将选择当前的发送网络接口或其余的有可能接受到该ARP回应的网络接口来进行发送。

测试脚本

分别在dir以及rs上执行相应的脚本

dir
[root@linux-15 ~]# sh /usr/local/sbin/lvs_dr.sh
成功断开设备 'ens33'。
链接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/9）
[root@linux-15 ~]#
rs
[root@linux-5 ~]# sh !$
sh /usr/local/sbin/lvs_rs.sh
[root@linux-5 ~]#
rs
[root@linux-10 ~]# sh !$
sh /usr/local/sbin/lvs_rs.sh
[root@linux-10 ~]#

访问测试

用curl命令访问这个vip（curl测试vip在rs上不太好用的，由于在本机绑定了这个vip，如果访问vip，等于访问本身）

[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wrr
  -> 192.168.88.5:80              Route   1      1          1         
  -> 192.168.88.10:80             Route   1      1          1

可是直接在dir机器上去访问vip会发现失败，只能再开一个虚拟机来测试，不过用 ipvsadm -ln命令，会看到ActiveConn以及InActConn都会有变化，且两台机器的比例为1:1，表示实验成功。

由于浏览器有缓存，因此没有办法及时的查看到lvs负载均衡的效果；可是经过刷新浏览器VIP地址，而后在dir机器是上查看ipvsadm的状况，能够发现，每一次刷新，ActiveConn都会有变化，刷新次数到必定数量是，InActConn也会产生变回，可见咱们的实验是成功的。可是，若是由于有缓存，就没有办法及时的查看到浏览器的变化，咱们如何肯定负载均衡是否成功？其实这些都是不用担忧的，由于当访问量达到必定数量时，负载均衡的效果就会慢慢的显示出来，如同实验同样，正是由于访问量小，咱们看到的页面都是同样。

18.12 keepalived + LVS

完整架构须要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived自己也有负载均衡的功能，因此本次实验能够只安装一台keepalived

使用keepalived+lvs的缘由

缘由一：lvs，它有个关键角色，就是dir分发器，若是分发器宕掉，那全部的访问就会被终止，由于全部的入口全都在dir分发器上，因此须要把分发器作一个高可用，用keepalived实现高可用，而且keepalived还有负载均衡的做用。

缘由二：在使用lvs的时候，若是没有额外的操做，这时将一个rs机器关机（宕机）时，lvs照样会分发数据到这台宕机机器，这是就会出现访问无效的状况，说明lvs并不聪明；这时使用keepalived，就能够保证集群中其中一台rs宕机了，web还能正常提供，不会出现用户访问时无效连接的结果；通常这种架构，确定是2台keepalived；

准备工做

由于keepalived内置了ipvsadm的功能，因此再也不须要安装ipvsadm的包，也不用再编写和执行.sh脚本

准备三台机器，分别为

dir（安装keepalived）88.15

rs1 88.5

rs2 88.10

vip 88.200

编辑keepalived配置文件

vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    interface ens33 
    priority 100 
    advert_int 1 
    authentication {
        auth_type PASS
    virtual_ipaddress {
        192.168.88.200
}   
virtual_server 192.168.88.200 80 {
    #(每隔10秒查询realserver状态)
    delay_loop 10 
    lb_kind DR
    #(同一IP的链接1秒内被分配到同一台realserver)
    persistence_timeout 1
    #(用TCP协议检查realserver状态)
    protocol TCP 
    
    real_server 192.168.88.5 80 {
        #(权重) 
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }   
    real_server 192.168.88.10 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }  
}

清除原有ipvsadm规则

[root@linux-15 ~]# ipvsadm -C
[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

启动keepalived服务

[root@linux-15 ~]# systemctl start keepalived
[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wlc persistent 1
  -> 192.168.88.5:80              Route   100    0          0         
  -> 192.168.88.10:80             Route   100    0          0

启动服务后，生成了新的ipvsadm规则

keepalived服务功能测试

关闭其中一台rs的Nginx服务，查看ipvsadm规则

[root@linux-10 ~]# systemctl stop nginx

[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wlc persistent 1
  -> 192.168.88.5:80              Route   100    0          0

咱们能够发现，被关闭Nginx服务的rs已被踢出负载均衡集群

从新开启rs的Nginx服务，查看ipvsadm规则

[root@linux-10 ~]# systemctl start nginx

[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wlc persistent 1
  -> 192.168.88.5:80              Route   100    0          0         
  -> 192.168.88.10:80             Route   100    0          0

咱们能够发现，被重启Nginx服务的rs已从新加入负载均衡集群

综上所述，keepalived 有一个比较好的功能，能够检测rs上服务运行的状况，在一台rs宕机的时候，及时把它踢出 ipvsadm 集群，将再也不发送数据包给它，这样很好的避免了访问无链接的状况发生

keepalived + LVS的注意事项

一、依然须要打开dir机器的端口转发

echo 1 > /proc/sys/net/ipv4/ip_forward   //打开端口转发

二、在rs机器上建立的/usr/local/sbin/lvs_rs.sh脚本，依然要执行它