2018-07-23笔记（Linux集群架构 lvs keepalived）

时间  2019-12-28
标签 笔记 linux 集群 架构 lvs keepalived 栏目 Linux 繁體版
原文   原文链接

18.11 LVS DR模式搭建

原理：
client 发送一个pv请求给VIP；VIP 收到这请求后会跟LVS设置的LB算法选择一个LB 比较合理的realserver，而后把此请求的package 的MAC地址修改成realserver的MAC地址，realserver 处理这个包后，会跟dst 为client ip 直接发送给 client ip；不通过lvs
LVS DR模式的注意状况：html

一、 LVS 的VIP 和 realserver 必须在同一个网段，否则广播后全部的包都会丢掉： 提早确认LVS/硬件LB 是什么模式，是否须要在同一个网段
二、全部的realserver 都必须绑定VIP的IP地址，不然realserver 收到package后发现dst 不是本身的IP，全部包都会丢掉。
三、realserver·处理完包后直接把package 经过dst IP 发送给 client ，不经过LVS/迎接IP 了这样的LVS /VIP 效率会更高一点。【经过把realserver的ip暴漏给外界，不是很安全】
DR模式搭建 – 准备工做
三台机器 mysql

dir
192.168.66.130 
rs1 
192.168.66.131 
rs2 
192.168.66.132 
dir和rs上都要绑定的vip 
192.168.66.200

一、dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容以下linux

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.66.200
rs1=192.168.66.131
rs2=192.168.66.132
#注意这里的网卡名字,设置虚拟网卡
#重启是为了防止重复执行
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
#-g就是dr模式
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

注：执行ifdown和ifup是为了清除执行脚本时设定的虚拟网卡IP，避免重复执行脚本时会重复设定
二、两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容以下nginx

#/bin/bash
vip=192.168.11.200
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

关于脚本中的arp_ignore和arp_announce参数web

脚本定义/lo/arp_ignore和/all/arp_ignore：
arp_ignore:定义对目标地址为本地IP的ARP询问不一样的应答模式
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
3 - 不回应该网络界面的arp请求，而只对设置的惟一和链接地址作出回应
4-7 - 保留未使用
8 -不回应全部（本地地址）的arp查询
脚本定义/lo/arp_announce和/all/arp_announce：
arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，做出相应级别的限制: 肯定不一样程度的限制,宣布对来自本地源IP地址发出Arp请求的接口算法

0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
1 -尽可能避免不在该网络接口子网段的本地地址作出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候颇有用.此时会检查来访IP是否为全部接口上的子网段内ip之一.若是改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通讯的本地地址.首要是选择全部的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 若是没有合适的地址被发现,将选择当前的发送网络接口或其余的有可能接受到该ARP回应的网络接口来进行发送
分别在dir上和两个rs上执行这些脚本 sql

三、运行脚本
分别在dir以及rs上执行相应的脚本vim

dir
[root@dir130 ~]# sh /usr/local/sbin/lvs_dr.sh
成功断开设备 'ens33'。
链接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/9）
rs1
[root@rs1-131 ~]# sh /usr/local/sbin/lvs_rs.sh
rs2
[root@rs2-132 ~]# sh /usr/local/sbin/lvs_rs.sh

四、测试效果
在dir上执行ipvsadm -ln查看主机安全

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wrr
  -> 192.168.66.131:80              Route   1      1          1         
  -> 192.168.66.132:80              Route   1      1          1

能够看到两台rs
用同网段的另一台机器curl命令访问这个vip（curl测试vip在rs上不太好用的，由于在本机绑定了这个vip，如果访问vip，等于访问本身）bash

[root@localhost ~]# curl 192.168.66.200
Master Master
[root@localhost ~]# curl 192.168.66.200
backup backup
[root@localhost ~]# curl 192.168.66.200
Master Master
[root@localhost ~]# curl 192.168.66.200
backup backup

由于我两台rs上的nginx定义了不一样的index.html以便区分，能够看到测试是成功的

18.12 keepalived + LVS

完整架构须要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，
但keepalived自己也有负载均衡的功能(其实keepalived的负载均衡的功能就是lvs),因此本次实验能够只安装一台keepalived
使用keepalived+lvs的好处：
一：lvs，它有个关键角色，就是dir分发器，若是分发器宕掉，那全部的访问就会被终止，由于全部的入口全都在dir分发器上，因此须要把分发器作一个高可用，用keepalived实现高可用，而且keepalived还有负载均衡的做用。
二：在使用lvs的时候，若是没有额外的操做，这时将一个rs机器关机（宕机）时，lvs照样会分发数据到这台宕机机器，这是就会出现访问无效的状况，说明lvs并不聪明；这时使用keepalived，就能够保证集群中其中一台rs宕机了，web还能正常提供，不会出现用户访问时无效连接的结果；通常这种架构，确定是2台keepalived；

由于keepalived内置了ipvsadm的功能，因此再也不须要安装ipvsadm的包，也不用再编写和执行dir上的.sh脚本
准备三台机器，分别为
dir（安装keepalived）192.168.66.130
rs1 192.168.66.130
rs2 192.168.66.131
vip 192.168.66.200
在dir分发器（A机器）上，清空ipvsadm规则，并查看ipvsadm规则，会发现已经清空

[root@dir130 ~]# ipvsadm -C
[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

一、在分发器130上编辑配置文件，在/etc/keepalived/keepalived.conf 配置，配置文件内容
由于以前作实验里面编辑过配置文件，这时直接删除，而后粘贴新的配置文件
修改配置文件中的网卡、vip ，还有rs机器上的IP

[root@dir130 ~]# vim /etc/keepalived/keepalived.conf
#内容以下
vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33，根据你机器实际的网卡修改
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.66.200        //vip 地址
    }
}
virtual_server 192.168.66.200 80 {        //vip 地址
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的链接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP
    real_server 192.168.66.131 80 {        //rs1机器
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.66.132 80 {        //rs2机器
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

保存退出
二、在R1和R2服务器上编写脚本并执行，内容以下：

vi /usr/local/sbin/lvs_dr.sh

#/bin/bash
vip=192.168.142.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

三、启动dir130的keeplived服务

[root@dir130 ~]# systemctl start keepalived
[root@dir130 ~]# ps aux |grep keepalived
root      3006  0.0  0.1 121324  1404 ?        Ss   07:16   0:00 /usr/sbin/keepalived -D
root      3007  0.0  0.2 121448  2732 ?        S    07:16   0:00 /usr/sbin/keepalived -D
root      3008  0.0  0.2 121324  2336 ?        S    07:16   0:00 /usr/sbin/keepalived -D
root      3014  0.0  0.0 112672   984 pts/0    R+   07:16   0:00 grep --color=auto keep

四、查看ipvsadm规则

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0         
  -> 192.168.66.132:80            Route   100    0          0

五、测试
关闭其中一台rs2的nginx服务，看会不会自动剔除

[root@rs2-132 ~]# systemctl stop nginx

在dir上查看ipvsadm规则

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0

能够看到已经自动剔除，只剩下rs1了
把rs2的nginx服务打开，看会不会自动加入

[root@rs2-132 ~]# systemctl start nginx

在dir上查看ipvsadm规则

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0         
  -> 192.168.66.132:80            Route   100    0          0

能够看到已经自动加入
综上所述，keepalived 有一个比较好的功能，能够检测rs上服务运行的状况，在一台rs宕机的时候，及时把它踢出 ipvsadm 集群，将再也不发送数据包给它，这样很好的避免了访问无链接的状况发生
注意事项：两点
1.打开dir机器的端口转发

echo 1 > /proc/sys/net/ipv4/ip_forward   //打开端口转发

二、在rs机器上建立的/usr/local/sbin/lvs_rs.sh脚本，依然要执行它

vi /usr/local/sbin/lvs_dr.sh   #内容以下

#/bin/bash
vip=192.168.142.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

扩展
heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433
DRBD工做原理和配置 http://502245466.blog.51cto.com/7559397/1298945
mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313
lvs 三种模式详解 http://www.it165.net/admin/html/201401/2248.html
lvs几种算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html
关于arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
lvs原理相关的 http://blog.csdn.net/pi9nc/article/details/23380589
haproxy+keepalived http://blog.csdn.net/xrt95050/article/details/40926255
nginx、lvs、haproxy比较 http://www.csdn.net/article/2014-07-24/2820837
keepalived中自定义脚本 vrrp_script http://my.oschina.net/hncscwc/blog/158746
lvs dr模式只使用一个公网ip的实现方法 http://storysky.blog.51cto.com/628458/338726

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程