Centos5.5下lvs+heartbeat+ldirectord

Centos5.5 下 lvs+heartbeat+ldirectord

高可靠性集群

目标：实现业务的高可靠性

实验环境：4台centos5.5(32bit)

撰写人：hx10

日期：2010/6/1  hangzhou

Blog:http://hi.baidu.com/hx10

环境以下：

lvs-master:10.80.11.245

lvs-backup:10.80.11.246

vip:10.80.11.240

web1:10.80.11.243

web2:10.80.11.244

netmask:255.255.255.0

gateway:10.80.11.1

 

第一步、系统设置

[root@lvs-master conf]# cat /etc/hosts

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1 lvs-master        localhost.localdomain localhost

::1              localhost6.localdomain6 localhost6

10.80.11.245   lvs-master

10.80.11.246   lvs-backup

在lvs-backup上一样设置

接下来关掉一些没必要要的系统服务

chkconfig bluetooth off

chkconfig firstboot off

chkconfig cups off

chkconfig ip6tables off

chkconfig iptables off

chkconfig isdn off

chkconfig kudzu off

chkconfig sendmail off

chkconfig smartd off

chkconfig autofs off

service bluetooth stop

service firstboot stop

service cups stop

service ip6tables stop

service iptables stop

service isdn stop

service kudzu stop

service sendmail stop

service smartd stop

service autofs stop

 

同步系统时间

#ntpdate time.nist.gov

 

第二步、安装软件（2台lvs须要安装一样的软件和脚本，惟一的区别是ha.cf有点不一样）

#yum -y install heartbeat heartbeat-ldirectord ipvsadm

#yum -y install heartbeat

检查下是否彻底安装如下包

[root@lvs-master /]# rpm -qa |grep heartbeat

heartbeat-stonith-2.1.3-3.el5.centos

heartbeat-ldirectord-2.1.3-3.el5.centos

heartbeat-gui-2.1.3-3.el5.centos

heartbeat-2.1.3-3.el5.centos

heartbeat-devel-2.1.3-3.el5.centos

heartbeat-pils-2.1.3-3.el5.centos

[root@lvs-master /]# rpm -qa |grep ipvsadm

ipvsadm-1.24-10

#rpm -q heartbeat -d  查看Heartbeat安装到那里

#mkdir /etc/ha.d/conf 

#cp /usr/share/doc/heartbeat-2.1.3/authkeys /etc/ha.d

#cp /usr/share/doc/heartbeat-2.1.3/ ha.cf /etc/ha.d

#cp /usr/share/doc/heartbeat-2.1.3/ haresources /etc/ha.d

#cp /usr/share/doc/heartbeat-ldirectord-2.1.3/ ldirectord.cf  /etc/ha.d/conf

 

第三步、修改配置文件

#cd /etc/ha.d

[root@lvs-master ha.d]# cat authkeys |grep -v ^#

auth 1

1 crc

#chmod 600 authkeys

[root@lvs-master ha.d]# cat ha.cf |grep -v ^#

debugfile /var/log/ha-debug

logfile       /var/log/ha-log

logfacility local0

keepalive 2

deadtime 30

warntime 10

initdead 120

udpport    694

bcast        eth0          # Linux

ucast eth0 10.80.11.246

auto_failback on

node         lvs-master

node         lvs-backup

ping 10.80.11.1

respawn hacluster /usr/lib/heartbeat/ipfail

apiauth ipfail gid=haclient uid=hacluster

 

注：ucast eth0 10.80.11.246  是从本地(lvs-master)的eth0网卡去ping lvs-backup的IP，在lvs-backup服务器上，须要把这个IP改为lvs-master的IP，这是2台LVS惟一区别

[root@lvs-master ha.d]# cat haresources |grep -v ^#

lvs-master 10.80.11.240/24/eth0/10.80.11.255 ldirectord::ldirectord.cf LVSSyncDaemonSwap::master

注：

主节点的主机名   vip/子网掩码/本地eth0/广播地址

[root@lvs-master ha.d]# cat conf/ldirectord.cf |grep -v ^#

checktimeout=20

checkinterval=5

autoreload=no

logfile="/var/log/ldirectord.log"

quiescent=no

 

virtual=10.80.11.240:80

         fallback=127.0.0.1:80

         real=10.80.11.243:80 gate 1

         real=10.80.11.244:80 gate 1

         service=http

         request="lvscheck.html"

         receive="lvscheck"

         scheduler=rr

         protocol=tcp

         checktype=negotiate

         #persistent=300

必定要注意格式，第一次作实现，就是由于所有左对齐，一直出问题

quiescent=no 当web服务器其中一台down机，能够自动从lvs删除，这样访问vip就不会轮训到down机的那个机器

persistent=300是会话保持之间，就是300秒一直访问web1,下个300秒一直访问web2

fallback=127.0.0.1:80的意思是若是lvs中止，会打开lvs服务器的http页面，能够作一个提示页面

在web1和web2上分别建立lvscheck.html文件，内容为lvscheck，这是健康检查的标准

下面在lvs-backup上进行系统配置和安装相应软件，准备好进行下一步

[root@lvs-master ha.d]# scp authkeys ha.cf haresources root@10.80.11.246:/etc/ha.d

root@10.80.11.246's password:

[root@lvs-master ha.d]# scp conf/ldirectord.cf root@10.80.11.246:/etc/ha.d/conf

root@10.80.11.246's password:

把这4个配置文件拷贝到lvs-backup上

而后在lvs-backup上把ha.cf中的

ucast eth0 10.80.11.246

这里的ip改为10.80.11.245

 

第四步、修改web服务器的配置

[root@web1 ~]# vim /etc/init.d/realserver.sh

 

#!/bin/bash

#ignore arp script

VIP1=10.80.11.240

#*************************************************************

case $1 in

start)

echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2">/proc/sys/net/ipv4/conf/all/arp_announce

#Add ip alias for lo

/sbin/ifconfig lo:0 $VIP1 netmask 255.255.255.255 up

/sbin/route add -host $VIP1 dev lo:0

;;

stop)

echo "0">/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "0">/proc/sys/net/ipv4/conf/lo/arp_announce

echo "0">/proc/sys/net/ipv4/conf/all/arp_ignore

echo "0">/proc/sys/net/ipv4/conf/all/arp_announce

/sbin/ifconfig lo:0 $VIP1 netmask 255.255.255.255 down

/sbin/route del -host $VIP1

;;

status)

iothere=`/sbin/ifconfig lo:0|grep $VIP1`

iorthere=`/bin/netstat -rn|grep $VIP1`

if [ ! "$iothere" -o ! "$iorthere" ];then

    echo "LVS Real Server is STOP"

    else

    echo "LVS Real Server is ALIVE"

fi

;;

*)

echo "Usage:$0 start|stop|status"

;;

esac

红色标记部分是vip地址

#chmod 755 /etc/init.d/realserver.sh

#sh /etc/init.d/realserver.sh start

#vim /etc/rc.local  加入下一行

/etc/init.d/realserver.sh start

在web2上建立一样的脚本并直接，加入自启动

第五步、启动服务并测试

在lvs-master和lvs-backu上分别启动服务

#service heartbeat start

观察

[root@lvs-master ha.d]# watch ipvsadm -L –n

而后中止lvs-master服务，看看lvs-backup是否是接管

停掉web1服务，看vip是否是打开正常