lvs+keepalive构建高可用集群

大纲

1、前言

2、Keepalived 详解

3、环境准备

4、LVS+Keepalived 实现高可用的前端负载均衡器

1、前言

       Keepalived使用的vrrp协议方式，虚拟路由冗余协议 (Virtual Router Redundancy Protocol，简称VRRP)；Heartbeat或Corosync是基于主机或网络服务的高可用方式；简单的说就是，Keepalived的目的是模拟路由器的高可用，Heartbeat或Corosync的目的是实现Service的高可用。因此通常Keepalived是实现前端高可用，经常使用的前端高可用的组合有，就是咱们常见的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。而Heartbeat或Corosync是实现服务的高可用，常见的组合有Heartbeat v3(Corosync)+Pacemaker+NFS+Httpd 实现Web服务器的高可用、Heartbeat v3(Corosync)+Pacemaker+NFS+MySQL 实现MySQL服务器的高可用。总结一下，Keepalived中实现轻量级的高可用，通常用于前端高可用，且不须要共享存储，通常经常使用于两个节点的高可用。而Heartbeat(或Corosync)通常用于服务的高可用，且须要共享存储，通常用于多节点的高可用。这个问题咱们说明白了，又有博友会问了，那heartbaet与corosync咱们又应该选择哪一个好啊，我想说咱们通常用corosync，由于corosync的运行机制更优于heartbeat，就连从heartbeat分离出来的pacemaker都说在之后的开发当中更倾向于corosync，因此如今corosync+pacemaker是最佳组合。但说实话我对于软件没有任何倾向性，因此我把全部的集群软件都和你们说了一下，我认为无论什么软件，只要它能存活下来都有它的特色和应用领域，只有把特定的软件放在特定的位置才能发挥最大的做用，那首先咱们得对这个软件有全部了解。学习一种软件的最好方法，就是去查官方文档。好了说了那么多但愿你们有所收获，下面咱们来讲一说keepalived。

2、Keepalived 详解

1.Keepalived 定义

       Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，能够利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），可是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候， 备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。Keepalived是VRRP的完美实现，所以在介绍keepalived以前，先介绍一下VRRP的原理。

2.VRRP 协议简介

在现实的网络环境中，两台须要通讯的主机大多数状况下并无直接的物理链接。对于这样的状况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题一般的解决方法有二种：

• 在主机上使用动态路由协议(RIP、OSPF等)
• 在主机上配置静态路由

很明显，在主机上配置动态路由是很是不切实际的，由于管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却常常成为单点故障。VRRP的目的就是为了解决静态路由单点故障问题，VRRP经过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

3.VRRP 工做机制

       在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，可是这多台的物理的机器并不能同时工做，而是由一台称为MASTER的负责路由工做，其它的都是BACKUP，MASTER并不是一成不变，VRRP让每一个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，好比，拥有虚拟路由器的IP地址，咱们的主机就是用这个IP地址做为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

       VRRP经过竞选协议来实现虚拟路由器的功能，全部的协议报文都是经过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。因此，在一个虚拟路由 器中，无论谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不须要由于MASTER的改变而修改本身的路由配置，对客户端来讲，这种主从的切换是透明的。

       在一个虚拟路由器中，只有做为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是很是快速的(<1s)，以保证服务的连续性。因为安全性考虑，VRRP包使用了加密协议进行加密。

4.VRRP 工做流程

(1).初始化：    

路由器启动时，若是路由器的优先级是255(最高优先级，路由器拥有路由器地址)，要发送VRRP通告信息，并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC，设置通告信息定时器准备定时发送VRRP通告信息，转为MASTER状态；不然进入BACKUP状态，设置定时器检查定时检查是否收到MASTER的通告信息。

(2).Master

• 设置定时通告定时器；
• 用VRRP虚拟MAC地址响应路由器IP地址的ARP请求；
• 转发目的MAC是VRRP虚拟MAC的数据包；
• 若是是虚拟路由器IP的拥有者，将接受目的地址是虚拟路由器IP的数据包，不然丢弃；
• 当收到shutdown的事件时删除定时通告定时器，发送优先权级为0的通告包，转初始化状态；
• 若是定时通告定时器超时时，发送VRRP通告信息；
• 收到VRRP通告信息时，若是优先权为0，发送VRRP通告信息；不然判断数据的优先级是否高于本机，或相等并且实际IP地址大于本地实际IP，设置定时通告定时器，复位主机超时定时器，转BACKUP状态；不然的话，丢弃该通告包；

(3).Backup

• 设置主机超时定时器；
• 不能响应针对虚拟路由器IP的ARP请求信息；
• 丢弃全部目的MAC地址是虚拟路由器MAC地址的数据包；
• 不接受目的是虚拟路由器IP的全部数据包；
• 当收到shutdown的事件时删除主机超时定时器，转初始化状态；
• 主机超时定时器超时的时候，发送VRRP通告信息，广播ARP地址信息，转MASTER状态；
• 收到VRRP通告信息时，若是优先权为0，表示进入MASTER选举；不然判断数据的优先级是否高于本机，若是高的话认可MASTER有效，复位主机超时定时器；不然的话，丢弃该通告包；

5.ARP查询处理

       当内部主机经过ARP查询虚拟路由器IP地址对应的MAC地址时，MASTER路由器回复的MAC地址为虚拟的VRRP的MAC地址，而不是实际网卡的 MAC地址，这样在路由器切换时让内网机器觉察不到；而在路由器从新启动时，不能主动发送本机网卡的实际MAC地址。若是虚拟路由器开启的ARP代理 (proxy_arp)功能，代理的ARP回应也回应VRRP虚拟MAC地址；好了VRRP的简单讲解就到这里，咱们下来说解一下Keepalived的案例。

3、环境准备

1.操做系统

• CentOS Linux release 7.4.1708 (Core)

2.软件版本

• ipvsadm-1.24                 
  
• keepalived.x86_64 0:1.2.7-3.el6      
• httpd-2.4.6-67.el7.centos.6.x86_64

3.实验拓扑

说明：

1.两台lvs间作keepalive高可用

2.两台web只简单安装Apache用于测试

实验清单

ip	类型
192.168.128.169	lvs_S
192.168.128.171	lvs_M
192.168.128.172	web_1
192.168.128.173	web_2

一、更改主机名(每台机子)

 echo "192.168.128.169  lvs_S" >>/etc/hosts
 echo "192.168.128.171  lvs_M" >>/etc/hosts
 echo "192.168.128.172  web_1" >>/etc/hosts
 echo "192.168.128.173  web_2" >>/etc/hosts

二、时间同步

yum install -y ntp
/usr/sbin/ntpdate ntp6.aliyun.com 
echo "*/3 * * * * /usr/sbin/ntpdate ntp6.aliyun.com  &> /dev/null" > /tmp/crontab
crontab /tmp/crontab

三、master配置（lvs_M,lvs_S）

mkdir -p /usr/local/src/lvs/
cd /usr/local/src/lvs/
wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
lsmod|grep ip_vs
uname -rm　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　    //查看内核版本
ln -s /usr/src/kernels/2.6.32-431.el6.i686/ /usr/src/linux      //可能会显示多个内核，选上个命令查看的版本
tar xf ipvsadm-1.24.tar.gz
cd ipvsadm-1.24
make && make install
ipvsadm          　　　　　　　　　　　　　　　　　　　　　　　　　　　　//启动内核
lsmod |grep ip_vs
ifconfig eth0:0 192.168.128.180/24 up                            //设置vip为192.168.128.180
route add -host 192.168.128.180 dev eth1
ipvsadm –C    　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　//清空默认
ipvsadm --set 30 5 60  　　　　　　　　　　　　　　　　　　　　　　　　　//设置超时
ipvsadm -A -t 192.168.128.180:80 -s wrr -p 20   　　　　　　　　　　// 添加虚拟服务
ipvsadm -L –n                       　　　　　　　　　　　　　　　　　//查看服务
ipvsadm -a -t 192.168.128.180:80 -r 192.168.160.132:80 -g -w 1   //添加real server
ipvsadm -a -t 192.168.128.180:80 -r 192.168.160.135:80 -g -w 1
ipvsadm –d -t 192.168.128.180:80 -r 192.168.160.132:80    　　　　// 删除

脚本：

执行脚本结果：

五、realserver配置脚本（web_1,web_2）