Keepalived的相关应用，使用keepalived实现nginx和lvs的高可用负载均衡器

使用keepalived实现HA Cluster集群，下面以示例来演示keepalived的使用和keepalived的相关知识

HA Cluster配置前提：

    1、本机的主机名，要与hostname(uname-n)得到的名称保持一致；

     CentOS6: /etc/sysconfig/network

       CentOS7: hostnamectl set-hostname HOSTNAME

     各节点要能互相解析主机名；通常建议经过hosts文件进行解析；

     修改主机名为centos7和centos6.1.com，而后修改hosts文件，能让两边能相互解析到

   2、各节点时间同步；ntpdate  172.16.249.195把这个主机当成时间服务器，而后进行时间同步

    设置ntp时间同步服务器

    修改/etc/ntp.conf文件

    内容以下：

        driftfile /var/lib/ntp/drift

        restrict 127.0.0.1

        restrict ::1

        restrict 172.16.0.0 mask 255.255.0.0nomodify notrap

        server 127.127.1.0

        fudge 127.127.1.0 stratum 8

        includefile /etc/ntp/crypto/pw

        keys /etc/ntp/keys

        disable monitor

 

    3、确保iptables及selinux不会成为服务阻碍；

        nopreempt：非抢占模式；默认为抢占模式；

 

 在调度器上，首先安装keepalived程序，而后把时间同步成同样的

ntpdate 172.16.249.195

检查iptables和selinux是否开启了

而后在CentOS7中进行实验

yum install  keepalived 

 

用两台机器一台CentOS7，一台CentOS6看是否有问题

CentOS7中

修改位置文件（/etc/keepalived/keepalived.conf）

首先把“virtual_server 192.168.200.100 443 {”这一行如下的所有注释掉

而后修改内容以下

为了完整，把这后面的信息补全

而后复制这个文件到另外一个主机

scp keepalived.conf 172.16.249.147:/etc/keepalived/

而后稍微修改下

这样就能够了，这样就能够启动测试了

systemctl start keepalived.service;ssh172.16.249.147 'service  keepalivedstart'  由于我使用的是一个centos7和一个centos6，因此先后的启动命令不同，若是使用的是一样的就不需这样了

使用  ps   aux  查看keepalived是否启动

而后在centos7上使用ifconfig进行查看，能够看到地址加上来了

而后咱们把centos7下的keepalived关闭，而后查看地址

地址没有了，去centos6上查看会发现地址在6上看，这就是高可用了，就是当一台负载均衡器下线时，另外一台能当即启用，实现高可用

 

没有日志信息，咱们本身定义一个

首先修改/etc/sysconfig/keepalived这个文件，

而后修改/etc/rsyslog.conf这个文件

而后使用systemctl restart rsyslog.service重启日志服务

另外一个主机一样修改重启日志服务使用（service rsyslog restart）

而后重启keepalived服务查看日志就有了

 

而后作两个虚拟路由，即双主模式

修改keepalived的配置文件,增长下面一段

而后另外一台主机修改keepalived的配置文件为下面一段

而后重启服务就能够查看了（若是由于网络环境比较复杂的话，等的时间可能要长一点）

 

若是停掉一台的keepalived服务，另外一台会包括全部的地址

 

这样停服务在生产中，是不行的，下面来添加脚本实现动态切换

修改配置文件，添加下面配置

这一段要加在vrrp_instance 字段外面

 

 

另外一个主机也作这样的配置

这就能够启用了

而后在172.16.249.195的/etc/keepalived目录下建立一个down文件，而后查看地址

另外一台主机上就有两个地址了

定义邮件的发送，须要自行定义，须要本身写一个脚本

脚本内容：

#!/bin/bash

    #Author: MageEdu <linuxedu@foxmail.com>

    #description: An example of notify script

    #

    vip=172.16.100.88

    contact='root@localhost'

    notify(){

        mailsubject="`hostname` to be $1: $vipfloating"

        mailbody="`date '+%F %H:%M:%S'`: vrrptransition, `hostname` changed to be $1"

        echo $mailbody | mail -s"$mailsubject" $contact

    }

    case"$1" in

       master)

        notify master

        exit 0

        ;;

      backup)

        notify backup

        exit 0

        ;;

      fault)

        notify fault

        exit 0

        ;;

      *)

        echo 'Usage: `basename $0`{master|backup|fault}'

        exit 1

        ;;

    esac

在/etc/keepalived/目录下建立一个名为notify.sh的脚本

给这个脚本一个执行权限chmod +x notify.sh

 

配置文件中vrrp_instance VI_1这一段里写入下面三行

notify_master"/etc/keepalived/notify.sh master"

notify_backup"/etc/keepalived/notify.sh backup"

notify_fault"/etc/keepalived/notify.shfault"

 

验证下，

而后把这个脚本复制到另外一个负载均衡器上，而后修改配置文件

scp -rp notify.sh172.16.249.147:/etc/keepalived/

这样邮件的发送就弄好了

另外一个虚拟路由就再也不演示了，跟这个步骤同样

 

咱们加入lvs和nginx来实现高可用的负载均衡器的实现（作的是双主模型）

下面先以lvs作负载均衡器，进行高可用负载均衡，以lvs的DR模式为例，规划以下

首先两个RS打开web服务，配好测试页，访问测试如下，没问题了，

 

 

而后配置第一个Director（负载均衡器），安装ipvsadm，配置lvs规则（若是不会配置能够上网搜索，或者查看本人的lvs的博客），首先测试是能正常工做的

首先加入VIP，

用其余主机ping测试一下，这个地址通不通，通了就没问题了，就差lvs规则了，

 

而后配置两个RS，首先配置arp_ignore和arp_annoce，而后配置VIP和路由

写一个脚本实现一些功能，而后直接在两台RS上运行一下，就能够了

而后 bash  set.sh  start  而后cat看一下是否成功了；把这个脚本复制给另外一台RS执行一次

而后添加地址和路由

ifconfig lo:0 172.16.249.18 netmask255.255.255.255 broadcast 172.16.249.18

route add -host 172.16.249.18 dev lo:0

ifconfig lo:1 172.16.249.19 netmask255.255.255.255 broadcast 172.16.249.19

route add -host 172.16.249.19 dev lo:1

 

另外一台RS也添加地址和路由

ifconfig lo:0 172.16.249.18 netmask255.255.255.255 broadcast 172.16.249.18

route add -host 172.16.249.18 dev lo:0

ifconfig lo:1 172.16.249.19 netmask255.255.255.255 broadcast 172.16.249.19

route add -host 172.16.249.19 dev lo:1

由于作的是两个虚拟路由器的即双主的，就是经过DNS在前面分流，一部分走172.16.249.18这个地址一部分走172.16.249.19，因此RS要配置两个VIP

             

而后RS的配置就作完了，而后回到Director上写入ipvs规则

ipvsadm -A -t 172.16.249.18:80 -s rr

ipvsadm -a -t 172.16.249.18:80 -r172.16.249.116 -g

ipvsadm -a -t 172.16.249.18:80 -r172.16.249.123 -g

而后测试是否能正常轮调

若是用物理机的浏览器访问不轮调，是网络的影响，开一个虚拟机进行测试，若是没有问题，就证实lvs的dr模式的负载均衡作好了

另外一台lvs服务器也作一下这个规则，而后测试一下，证实lvs的负载均衡没有问题了

而后咱们把lvs服务器上的规则清掉，地址删除

而后在两台lvs上作sorry  server 启动httpd服务，而后写一个页面，而后访问

测试没问题，就能够了

 

下面作keepalived高可用的负载均衡器（安装keepalived）

直接作成两台虚拟路由器的，

修改第一台lvs主机的keepalived的配置文件以下

global_defs {

  notification_email {

         root@localhost

   }

  notification_email_from kaadmin@localhost

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id centos7

}

vrrp_script chk_schedown {

   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"

   interval 1

   weight -2

    }

 

vrrp_instance VI_1 {

   state MASTER

   interface eth0

   virtual_router_id 51

   priority 100

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 5b03429a7cf5

    }

   virtual_ipaddress {

         172.16.249.18/16dev eth0 label eth0:0

    }

   track_script {

       chk_schedown

    }

   notify_master "/etc/keepalived/notify.sh master"

   notify_backup "/etc/keepalived/notify.sh backup"

   notify_fault "/etc/keepalived/notify.sh fault

}

 

vrrp_instance VI_2 {

   state BACKUP

   interface eth0

   virtual_router_id 61

   priority 99

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 20b662c6c06d

    }

   virtual_ipaddress {

         172.16.249.19/16dev eth0 label eth0:1

    }

}

 

virtual_server 172.16.249.18 80 {

   delay_loop 6

   lb_algo wrr

   lb_kind DR

   nat_mask 255.255.0.0

   protocol TCP

 

   real_server 172.16.249.116 80 {

       weight 1

       HTTP_GET {

           url {

              path /

               status_code 200

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

   real_server 172.16.249.123 80 {

       weight 2

       HTTP_GET {

           url {

              path /

               status_code 200

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

}

 

virtual_server 172.16.249.19 80 {

   delay_loop 6

   lb_algo wrr

   lb_kind DR

   nat_mask 255.255.0.0

   protocol TCP

 

   real_server 172.16.249.116 80 {

       weight 1

       HTTP_GET {

           url {

              path /

               status_code 200

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

   real_server 172.16.249.123 80 {

       weight 2

       HTTP_GET {

           url {

              path /

               status_code 200

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

}

而后配置另外一台lvs主机中的的keepalived以下：

global_defs {

  notification_email {

         root@localhost

   }

  notification_email_from kaadmin@localhost

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id centos6.1.com

}

 

vrrp_script chk_schedown {

   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"

   interval 1

   weight -2

    }

 

vrrp_instance VI_1 {

   state BACKUP

   interface eth0

   virtual_router_id 51

   priority 99

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 5b03429a7cf5

    }

   virtual_ipaddress {

         172.16.249.18/16dev eth0 label eth0:0

    }

  track_script {

       chk_schedown

    }

   notify_master "/etc/keepalived/notify.sh master"

   notify_backup "/etc/keepalived/notify.sh backup"

   notify_fault "/etc/keepalived/notify.sh fault"

 

}

 

vrrp_instance VI_2 {

   state MASTER

   interface eth0

   virtual_router_id 61

   priority 100

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 20b662c6c06d

    }

   virtual_ipaddress {

       172.16.249.19/16 dev eth0 label eth0:1

    }

}

 

virtual_server 172.16.249.18 80 {

   delay_loop 6

   lb_algo wrr

   lb_kind DR

   nat_mask 255.255.0.0

   protocol TCP

 

   real_server 172.16.249.116 80 {

       weight 1

       HTTP_GET {

           url {

              path /

               status_code 200

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

   real_server 172.16.249.123 80 {

       weight 2

       HTTP_GET {

           url {

              path /

               status_code 200

           }

            connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

}

 

virtual_server 172.16.249.19 80 {

   delay_loop 6

   lb_algo wrr

   lb_kind DR

   nat_mask 255.255.0.0

   protocol TCP

 

   real_server 172.16.249.116 80 {

       weight 1

       HTTP_GET {

           url {

              path /

               status_code 200

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

    real_server 172.16.249.123 80 {

       weight 2

       HTTP_GET {

           url {

              path /

               status_code 200

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }

}

这只在第一个虚拟路由器中作脚本，第二个没有作，要想作了，跟第一个的同样

而后就能够启动keepalived服务了

而后访问测试一下

能够看到两个地址都能负载均衡

下面让一台lvs的keepalived下线

这样两个地址都在一台lvs上了，访问测试下

能够看到也没有问题，

若是把一台RS下线，全部请求就都在一个RS上了；若是RS都下线，sorry  server就能够发挥做用了。（这里再也不演示了）

这样高可用的lvs的负载均衡就作好了

 

 

下面作下nginx的高可用的负载均衡，就是用nginx作负载均衡器

使用nginx作负载均衡器，架构以下：

安装nginx，而后启动起来，配置成负载均衡服务器

修改/etc/nginx/nginx.conf

另外一台负载均衡器一样这样配置

 

而后修改这一台nginx的keepalived的配置文件

global_defs {

  notification_email {

         root@localhost

   }

  notification_email_from kaadmin@localhost

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id centos7

}

vrrp_script chk_nginx {

   script "killall -0 nginx &> /dev/null"

   interval 1

   weight -10

    }

 

vrrp_instance VI_1 {

   state MASTER

   interface eth0

   virtual_router_id 51

   priority 100

    advert_int 1

   authentication {

       auth_type PASS

       auth_pass 5b03429a7cf5

    }

   virtual_ipaddress {

         172.16.249.18/16dev eth0 label eth0:0

    }

   track_script {

          chk_nginx

    }

   notify_master "/etc/keepalived/notify.sh master"

   notify_backup "/etc/keepalived/notify.sh backup"

   notify_fault "/etc/keepalived/notify.sh fault

}

 

另外一台nginx的keepalived配置文件为

global_defs {

  notification_email {

         root@localhost

   }

  notification_email_from kaadmin@localhost

  smtp_server 127.0.0.1

  smtp_connect_timeout 30

  router_id centos6.1.com

}

 

vrrp_script chk_nginx {

   script "killall -0 nginx &> /dev/null"

   interval 1

   weight -10

    }

 

vrrp_instance VI_1 {

   state BACKUP

   interface eth0

   virtual_router_id 51

   priority 99

   advert_int 1

   authentication {

       auth_type PASS

       auth_pass 5b03429a7cf5

    }

   virtual_ipaddress {

         172.16.249.18/16dev eth0 label eth0:0

    }

  track_script {

         chk_nginx

    }

   notify_master "/etc/keepalived/notify.sh master"

   notify_backup "/etc/keepalived/notify.sh backup"

   notify_fault "/etc/keepalived/notify.sh fault"

 

}

而后启动keepalived

能够看到地址配好了，测试下

能够看到作好了，而后把一台nginx的nginx服务停掉，看另外一台可否上线

访问也没有问题，这样nginx的高可用就作好了，

 

作双主模式的，只须要在keepalived配置文件里加入下面这些内容就好了

第一台（172.16.249.195）

第二台（172.16.249.147）

而后重启keepalived服务

查看ip

访问测试，

让一台的nginx服务停掉

能够看到能正常切换，这样nginx高可用的双主模式就作好了