KeepAlived系列文章:http://www.cnblogs.com/f-ck-need-u/p/7576137.htmlhtml
KeepAlived主要有两个功能:web
在keepalived设计之初,它只是LVS周边的一个辅助工具,用于LVS的监控情况检查,所以它和LVS的兼容性很是好。若是某一个realserver节点宕了,keepalived会将此节点从管理列表中踢出去,当此节点恢复后又将此节点加回管理列表,这样可以就让realserver负载均衡变的智能化。可是,此时的调度器存在单点故障的可能性,所以有必要对其实现高可用。算法
实现LVS高可用可使用多种软件来实现,如heartbeat,可是heartbeat自己不能实现ipvs的健康情况检查,须要搭配Ldirectord(安装完heartbeat就有了)来进行健康检查。所幸的是keepalived后来也加入了高可用的功能,并且配置起来也至关简单。相比于heartbeat+Ldirectord,keepalived的检查速度极快,故障转移也极快,布置也简单的多。因此通常来讲,要管理ipvs,都会选择使用keepalived。下图列出了构建LVS高可用的几种工具:后端
keepalived实现故障转移的功能是经过VRRP(virtual router redundancy protocol虚拟路由器冗余协议)协议来实现的。 在keepalived正常工做的时候,主节点(master)会不断的发送心跳信息给备节点(backup),当备节点不能在必定时间内收到主节点的心跳信息时,备节点会认为主节点宕了,而后会接管主节点上的资源,并继续向外提供服务保证其可用性。当主节点恢复的时候,备节点会自动让出资源并再次自动成为备节点。bash
注意,使用keepalived监控、高可用LVS集群时(即常说的keepalived+lvs),并不须要在Director上使用ipvsadm等管理工具额外配置ipvs规则。由于keepalived中集合了管理ipvs规则的组件(即稍后模型图中的ipvs wrapper),能够直接在keepalived的配置文件中配置ipvs相关规则,在解析配置文件时会经过特定的组件将规则发送到内核中的ipvs模块。服务器
VRRP协议的出现是为了解决静态路由的单点故障,它是经过一种竞选机制来将路由任务交给某个vrrp路由器的。架构
在VRRP物理结构中,有多个物理的VRRP路由器,其中有一台称为"master"即主节点路由器,其余的都是"backup"备节点路由器,谁是master谁是backup,这是经过他们的优先级来定义竞选的。app
在VRRP虚拟结构中,虚拟路由器是经过"MAC+VRID"的形式来标识的,如"00-00-5E-00-01-{VRID}"。在VRRP虚拟结构中,不论是master仍是backup,VRID必须一致。它们对外都是相同的VIP,客户端并不须要由于master的切换而修改本身的路由配置。负载均衡
VRRP结构中路由器之间的通讯是经过IP多播的方式实现的(也能够配置为其它通讯方式)。可是,只有master节点才会发送VRRP广告包(vrrp advertisement message)。当master节点宕掉的时候,backup中优先级最高的VRRP设备会抢占并升级为master。dom
Keepalived服务启动的时候,将产生三个相关进程,一个父进程和两个子进程。
PID 111 Keepalived <-- Parent process fork and monitor children
112 \_ Keepalived <-- VRRP child
113 \_ Keepalived <-- Healthchecking child
父进程负责fork和监控子进程,所以父进程也称为WatchDog。两个子进程都会开启本地套接字Unix Domain Socket。当keepalived服务启动后,父进程会经过unxi domain socket每隔5秒发送一个"Hello"消息给子进程,若是父进程没法发送消息给子进程,将认为子进程出现问题,因而会重启子进程。
下图是keepalived设计架构图:
其中:
Checkers组件
:负责RealServer的健康情况检查,并在LVS的拓扑中移除、添加RealServer。它支持layer4/5/7层的协议检查。该组件使用独立的子进程负责,但被父进程监控。VRRP组件
:提供Director的故障转移功能从而实现Director的高可用。该组件可独立提供功能,无需LVS的支持。该组件使用独立的子进程负责,但被父进程监控。System Call组件
:提供读取自定义脚本的功能。该组件在使用时,将临时产生一个子进程来执行任务。IPVS wrapper组件
:负责将配置文件中IPVS相关规则发送到内核的ipvs模块。Netlink Reflector
:用来设定、监控vrrp的vip地址。使用keepalived,彻底能够yum安装。本文仅给出编译安装的方法,后文的全部配置都使用yum安装的keepalived。
官方各版本源码下载地址:http://www.keepalived.org/download.html。如下是编译安装keepalived-1.2.19版本的过程。
yum -y install openssl-devel tar xf keepalived-1.2.19.tar.gz cd keepalived-1.2.19 ./configure --prefix=/usr/local/keepalived-1.2.19 make && make install
其中./configure的·--with-kernel-dir·是在管理LVS时须要使用的,若是不用配合LVS,则能够不用此选项。
再作一下编译安装的规范行为。
ln -s /usr/local/keepalived-1.2.19 /usr/local/keepalived
echo "MANPATH /usr/local/keepalived/share/man" >>/etc/man.config
echo "export PATH=/usr/local/keepalived/sbin:$PATH" > /etc/profile.d/keepalived.sh
chmod +x /etc/profile.d/keepalived.sh
. /etc/profile.d/keepalived.sh
编译安装后,在安装目录下生成如下一些目录,其中keepalived程序在sbin目录下。
[root@xuexi ~]# cd /usr/local/keepalived
[root@xuexi keepalived]# ls
bin etc lib sbin share
在etc目录下,有配置文件、SysV管理脚本和大量配置文件示例。
[root@xuexi keepalived]# ls etc
keepalived rc.d sysconfig
[root@xuexi keepalived]# ls etc/keepalived/
keepalived.conf samples
[root@xuexi keepalived]# ls etc/rc.d/init.d/
keepalived
但须要注意的是,这里提供的SysV服务管理脚本是错误的,缘由是脚本中的keepalived命令路径错误。因此修改该文件。
#原文
start() {
echo -n $"Starting $prog: "
daemon keepalived ${KEEPALIVED_OPTIONS}
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}
#修改后
start() {
echo -n $"Starting $prog: "
daemon /usr/local/keepalived/sbin/keepalived ${KEEPALIVED_OPTIONS}
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}
默认keeepalived的日志会记录到/var/log/messages中。能够配置keepalived使其记录到其它文件中。
先修改/etc/sysconfig/keepalived文件,如下是原文内容。
# Options for keepalived. See `keepalived --help' output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
#
# --vrrp -P Only run with VRRP subsystem.
# --check -C Only run with Health-checker subsystem.
# --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop.
# --dont-release-ipvs -I Dont remove IPVS topology on daemon stop.
# --dump-conf -d Dump the configuration data.
# --log-detail -D Detailed log messages.
# --log-facility -S 0-7 Set local syslog facility (default=LOG_DAEMON)
#
KEEPALIVED_OPTIONS="-D"
要配置独立的日志,将其中的"KEEPALIVED_OPTIONS"改成以下:
KEEPALIVED_OPTIONS="-D -S 0"
上面配置使用local0这个设备来记录日志,所以去修改rsyslog的配置文件/etc/rsyslog.conf,添加该设备记录日志的级别和路径。
# Keepalived log config
local0.* /var/log/keepalived.log
再重启rsyslog。
service rsyslog restart
配置文件分为3部分:全局部分、VRRPd部分(即实现高可用部分)以及LVS虚拟服务部分(健康情况检查以及管理的集群服务)。
选项不少,具体的意义能够man keepalived.conf。默认内容以下:
! Configuration File for keepalived
global_defs { #全局部分定义邮件报警系统,能够不用定义
notification_email { #定义邮件发送目标
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc #定义邮件发送人
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL #标识keepalived服务器的字符串,实现高可用时须要使用它标识节点
# 全局部分关于静态地址和静态路由的配置,能够man keepalived.conf,不过几乎不用配置这部分
}
#定义vrrp实例。一个配置文件中能够实现多实例。但不一样主机上互为master<-->backup的实例名需相同
vrrp_instance VI_1 {
state MASTER #定义实例的角色状态是master仍是backup
interface eth0 #定义vrrp绑定的接口,即接收或发送心跳通告的接口,即HA监测接口
virtual_router_id 51 #虚拟路由标识(VRID),同一实例该数值必须相同,即master和backup中该值相同
#同一网卡上的不一样vrrp实例,该值必须不能相同。取值范围0-255
priority 100 #该vrrp实例中本机的keepalived的优先级,优先级最高的为master。该选项的优先级
#高于state选项,即若state指定的是backup,但这里设置的值最高,则仍为master。
advert_int 1 #心跳信息发送和接收时间间隔,单位为秒
authentication { #认证方式,同一实例中这个配置必须彻底同样才可经过认证。只建议使用PASS认证
auth_type PASS
auth_pass 1111 #最多支持8字符,超过8字符将只取前8字符
}
virtual_ipaddress { #设置的VIP。只有master节点才会设置。master出现故障后,VIP会故障转移到backup。
#这些vip默认配置在interface指定的接口别名上,可以使用dev选项来指定配置接口。
#使用ip add的方式添加。若要被ifconfig查看,在IP地址后加上label便可。
#<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
192.168.200.16 label eth0:1
192.168.200.17
192.168.200.18
192.168.200.19/24 dev eth1
}
}
#定义虚拟服务部分
virtual_server 192.168.200.100 443 { #虚拟服务地址和端口,使用空格分隔,其中地址为VIP
delay_loop 6 #健康检查时间间隔
lb_algo rr #定义负载均衡LB的算法,这里使用的是rr调度算法
lb_kind NAT #lvs的模型,有NAT/DR/TUN三种
nat_mask 255.255.255.0
persistence_timeout 50 #持久会话保持时长
protocol TCP #监控服务的协议类型,1.3.0版本以前只支持tcp,以后还支持udp
real_server 192.168.201.100 443 { #定义real_server部分,地址和端口使用空格分隔
weight 1 #LVS权重
SSL_GET { #健康情况检查的检查方式,常见的有HTTP_GET|SSL_GET|TCP_CHECK|MISC_CHECK。
url {
path / #指定ssl_get健康情况检查的路径,例如检查index.html是否正常
digest ff20ad2481f97b1754ef3e12ecd3a9cc
#健康情况须要状态码,能够是status_code、digest或digest+status_code
#digest值用keepalived的genhash命令生成,通常使用status_code便可
status_code 200
}
url {
path /mrtg/
digest 9b3a0c85a887a256d6939da88aabd8cd
}
connect_timeout 3 #表示3秒无响应就超时,即此realserver不健康,需重试链接
nb_get_retry 3 #表示重试3次,3次以后都超时就是宕机,防止误伤(nb=number)
delay_before_retry 3 #重试的时间间隔
#上述配置需12秒才能判断节点故障,时间过久,应改小
}
}
}
virtual_server 10.10.10.2 1358 {
delay_loop 6
lb_algo rr
lb_kind NAT
persistence_timeout 50
protocol TCP
sorry_server 192.168.200.200 1358 #定义当全部Real server都宕机的时候,由哪台服务器继续提供服务
#通常在keepalived本机给定一个web页面,提示网站正在维护的信息
real_server 192.168.200.2 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl3/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.200.3 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 10.10.10.3 1358 {
delay_loop 3
lb_algo rr
lb_kind NAT
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.200.4 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl3/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.200.5 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl3/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
关于配置文件中的几种时间间隔:
N2和N5的区别在于:当上一次健康检查结果是正常的,将会隔N2秒再检查。若是某次检查不健康,即联系不上RS,则每隔N5秒重试一次,直到N4次后才断定该RS已经故障。所以,最终须要N3+N4*N5
才能断定一个节点的故障。
虽然健康检查的失败次数是能够指定的,但通常都会设置多于1次防止误伤。另外,成功的检查只需一次便可。
keepalived支持4层、5层和7层的健康情况检查,按检查类型又可分为TCP检查(4层)、HTTP检查(5层)、SSL_HTTP检查(5层)以及自定义的MISC检查(可实现7层)。其中:
使用MISC_CHECK检查时,方式以下:
MISC_CHECK {
misc_path /path_to_script/script.sh
(or misc_path “ /path_to_script/script.sh <arg_list>”)
}