集群介绍 keepalived介绍 用keepalived配置高可用集群

时间  2019-11-10
标签 集群 介绍 keepalived 配置 可用 栏目 负载均衡 繁體版
原文   原文链接

7月3日任务

18.1 集群介绍
18.2 keepalived介绍
18.3/18.4/18.5 用keepalived配置高可用集群
扩展
heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433 
DRBD工做原理和配置 http://502245466.blog.51cto.com/7559397/1298945
mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313html

Linux集群概述

  • 根据功能划分为两大类：高可用和负载均衡
    • 高可用集群一般为两台服务器，一台工做，另一台做为冗余，当提供服务的机器宕机，冗余将接替继续提供服务 - 高可用衡量标准，4个九，就是99.99%，表示一个比例，在一年时间内99.99%的时间都是在线的，不容许宕机，不容许服务不可用。另外还有的是5个9，6个9
      • 实现高可用的开源软件有：heartbeat、keepalived
        • heartbeat软件，在centos6中有不少bug，并且好久没有更新版本了，不建议继续使用
        • keepalived软件，不只有高可用的功能，还有负载均衡的功效，配置也很是简单
    • 负载均衡集群，须要有一台服务器做为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
      • 实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F五、Netscaler
        • 商业的负载均衡器，至关因而一台设备，成本高昂
          • 商业的负载均衡器，优点 在于有更高的并发量，也有很好的稳定性

keepalived介绍

  • 在这里使用keepalived来实现高可用集群，由于heartbeat在centos6上有一些问题，影响实验效果
    • heartbeat 切换的时候，会不是很及时——>好比：主 已经宕机了，但 从 却一直启动不了，通讯会不畅，因此不使用 heartbeat
  • keepalived经过VRRP（Virtual Router Redundancy Protocl 中文为：虚拟路由冗余协议）来实现高可用。
    • 虚拟路由冗余协议(Virtual Router Redundancy Protocol，简称VRRP)是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议，1998年已推出正式的RFC2338协议标准。VRRP普遍应用在边缘网络中，它的设计目标是支持特定状况下IP数据流量失败转移不会引发混乱，容许主机使用单路由器，以及及时在实际第一跳路由器使用失败的情形下仍可以维护路由器间的连通性。
  • 在这个协议里，会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
    • master会经过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就须要根据各个backup的优先级来决定谁成为新的mater。
  • Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

 

用keepalived配置高可用集群

  • 准备两台机器134和135，134做为master，135做为backup
  • 两台机器都执行yum install -y keepalived
  • 两台机器都安装nginx，其中134上已经编译安装过nginx，135上须要yum安装nginx: yum install -y nginx
  • 设定vip为100
  • 编辑134上keepalived配置文件，内容获取地址
  • 134编辑监控脚本，内容获取地址
  • 给脚本755权限
  • systemctl start keepalived 130启动服务
  • 135上编辑配置文件，内容获取地址
  • 135上编辑监控脚本，内容获取地址
  • 给脚本755权限
  • 135上也启动服务 systemctl start keepalived

keepalived配置高可用集群

  1. 首先准备两台机器，都安装keepalived yum install -y keepalived   keepalived，实际是包含一个服务的，也就是说这个服务用来实现高可用
  2. 这里使用 nginx ，把它做为一个高可用的对象——>使用nginx做为演示对象的缘由，由于nginx在工做中，在生产环境中，不少企业把nginx作一个负载均衡器 ,假设nginx一旦挂掉，那么后端全部的web，即便说是正常的，那也没法访问到
  3. 如果A、B机器没有装nginx服务，能够直接 yum安装
B机器yum安装nginx
[root@yong-02 ~]# yum install -y nginx
  • 更改keepalived配置文件了，内容地址
  • 默认的配置文件路径在/etc/keepalived/keepalived.conf
  • 清空文件的快捷键方法 > !$
A机器更改配置文件
[root@yong-01 ~]# ls /etc/keepalived/keepalived.conf 
/etc/keepalived/keepalived.conf
[root@yong-01 ~]# > !$
> /etc/keepalived/keepalived.conf
[root@yong-01 ~]# vim !$
vim /etc/keepalived/keepalived.conf   //去文件地址去下载内容
将拷贝的内容复制进去
只须要改网卡名字和IP192.168.180.100
####################### #  全局配置 #######################
global_defs {                            //global_defs 全局配置标识
   notification_email {               //notification_email用于设置报警邮件地址
   yyli2008@163.com           //能够设置多个，每行一个
   }
   notification_email_from root@aminglinux.com    //设置邮件发送地址  
   smtp_server 127.0.0.1                //设置邮件的smtp server地址
   smtp_connect_timeout 30            //设置链接smtp sever超时时间
   router_id LVS_DEVEL
}

###################### #  VRRP配置 ######################
vrrp_script chk_nginx {               
    script "/usr/local/sbin/check_ng.sh"   //检查服务是否正常，经过写脚本实现，脚本检查服务健康状态
    interval 3                      //检查的时间间断是3秒
}
vrrp_instance VI_1 {                        //VRRP配置标识 VI_1是实例名称 
    state MASTER                           //定义master相关
    interface ens33                 //经过vrrp协议去通讯、去发广播。配置时，需注意本身的网卡名称
    virtual_router_id 51                   //定义路由器ID ，配置的时候和从机器一致
    priority 100                              //权重，主角色和从角色的权重是不一样的
    advert_int 1                            //设定MASTER与BACKUP主机质检同步检查的时间间隔，单位为秒
    authentication {                       //认证相关信息
        auth_type PASS                   //这里认证的类型是PASS
        auth_pass aminglinux>com   //密码的形式是一个字符串
    }
    virtual_ipaddress {                  //设置虚拟IP地址 (VIP),又叫作漂移IP地址
        192.168.180.100   //更改成192.168.180.100
    }
    track_script {               //加载脚本 
        chk_nginx            
    }
}
  • virtual_ipaddress：简称VIP，这个vip，两台机器，一个主，一个从，正常的状况是主在服务，主宕掉了，从起来了，从启动服务，从启动nginx之后，，启动之后，访问那个IP呢？把域名解析到那个IP上呢？假如解析到主上，主宕掉了，因此这个，须要定义一个公有IP（主上用的IP，从上也用的IP）；这个IP是随时能够夏掉，去配置的
  • 定义监控脚本，脚本内容获取地址
  • 脚本路径在keepalived配置文件中有定义，路径为/usr/local/sbin/check_ng.sh
A机器定义监控脚本
[root@yong-01 ~]# vim /usr/local/sbin/check_ng.sh

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#若是进程为0，则启动nginx，而且再次检测nginx进程数量，
#若是还为0，说明nginx没法启动，此时须要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi
  • “脑裂”，在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，原本为一总体、动做协调的HA系统，就分裂成为2个独立的个体。因为相互失去了联系，都觉得是对方出了故障。两个节点上的HA软件像“裂脑人”同样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，致使数据损坏
  • 如何判断脑裂？
    • 分别在两台机查看当前服务器是否拥有虚拟IP，若是两台服务器都拥有，则说明发生了脑裂，证实目前双机通讯出现问题，产生此问题的原有在于 两台服务器都探测不到组内其余服务器的状态（心跳请求没法正常响应），私自断定另外一台服务器挂起，则抢占虚拟IP，脑裂的出现是不被容许的，解决此问题的方法为检查防火墙设置（关闭防火墙）或者使用串口通讯。
  • 脚本建立完以后，还须要改变脚本的权限（不更改权限，就没法自动加载脚本，那就没法启动keepalived服务）
[root@yong-01 ~]# chmod 755 /usr/local/sbin/check_ng.sh
  • 启动keepalived服务，并查看是否启动成功（PS：启动不成功，有多是防火墙未关闭或者规则限制致使的）
  • systemctl stop firewalld 关闭firewalld
  • iptables -nvL
  • setenforce 0 临时关闭selinux
  • getenforce命令查看是否为Permissive
  • 这时再来启动keepalived，就会看到keepalived进程服务了
[root@yong-01 ~]# systemctl start keepalived
[root@yong-01 ~]# ps aux |grep keep
root      4979  0.0  0.0 118608  1384 ?        Ss   23:14   0:00 /usr/sbin/keepalived -D
root      4980  0.0  0.1 127468  3288 ?        S    23:14   0:00 /usr/sbin/keepalived -D
root      4982  0.0  0.1 127340  2820 ?        S    23:14   0:00 /usr/sbin/keepalived -D
root      6125  0.0  0.0 112676   984 pts/0    R+   23:23   0:00 grep --color=auto keep
  • 查看nginx服务进程
[root@yong-01 ~]# ps aux |grep nginx
root      4648  0.0  0.0  24792   760 ?        Ss   22:55   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody    4649  0.0  0.0  25188  1720 ?        S    22:55   0:00 nginx: worker process
root      6187  0.0  0.0 112676   984 pts/0    R+   23:24   0:00 grep --color=auto nginx
  • 这时中止nginx服务 
  • /etc/init.d/nginx stop  再来查看nginx服务进程，会看到自动加载了
[root@yong-01 ~]# /etc/init.d/nginx stop
Stopping nginx (via systemctl):                            [  肯定  ]
[root@yong-01 ~]# ps aux |grep nginx
root      6270  0.0  0.0  24792   756 ?        Ss   23:24   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody    6274  0.0  0.0  25188  1212 ?        S    23:24   0:00 nginx: worker process
root      6282  0.0  0.0 112676   984 pts/0    R+   23:24   0:00 grep --color=auto nginx
  • keepalived日志文件路径  /var/log/messages
  • 查看ip地址，使用 ip add 命令，而不能使用ifconfig命令，由于 ifconfig命令 是没法查看到vip192.168.180.100这个IP的
[root@yong-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.180.100/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::8004:45b5:96c5:3ca5/64 scope link 
       valid_lft forever preferred_lft forever
  • 检查A、B 机器下防火墙和selinux是否关闭了，若没有关闭，可能会致使实验失败
  • systemctl stop firewalld 关闭firewalld
  • iptables -nvL
  • setenforce 0 临时关闭selinux
  • getenforce命令查看是否为Permissive

以上就是主机器A的配置

backup 机器配置

  1. 在B机器yum安装nginx和keepalived
  2. 关闭B机器的防火墙和selinux
  • iptables -F 清空规则
  • setenforce 0 临时关闭selinux
  • 自定义B机器keepalived配置文件，内容获取地址，更改虚拟IP和主同样的
首先清空B机器keepalived里面自带的配置文件
[root@yong-02 ~]# >/etc/keepalived/keepalived.conf 
[root@yong-02 ~]# vim /etc/keepalived/keepalived.conf 

而后复制配置文件并粘贴进去，更改虚拟IP和主同样的
global_defs {
   notification_email {
     yyli2008@163.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}
vrrp_instance VI_1 {
    state BACKUP        //这里 和master不同的名字
    interface ens33       //网卡和当前机器一致，不然没法启动keepalived服务
    virtual_router_id 51        //和主机器 保持一致
    priority 90            //权重，要比主机器小的数值
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux>com
    }
    virtual_ipaddress {
        192.168.180.100        //这里更改成192.168.180.100
    }
    track_script {
        chk_nginx
    }
}
  • 定义监控脚本，路径再keepalived里面已定义过，脚本内容地址
  • 这个脚本和主上的脚本有一点区别，启动nginx的命令不一样，由于一个是yum安装，一个是源码包安装
[root@yong-02 ~]# vim /usr/local/sbin/check_ng.sh

#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#若是进程为0，则启动nginx，而且再次检测nginx进程数量，
#若是还为0，说明nginx没法启动，此时须要关闭keepalived
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log                systemctl stop keepalived
        fi
fi
  • 改动脚本的权限，设置为755权限
[root@yong-02 ~]# chmod 755 /usr/local/sbin/check_ng.sh
  • B机器启动keepalived服务  systemctl start keepalived
[root@yong-02 ~]# systemctl start keepalived
[root@yong-02 ~]# ps aux |grep keepalived
root      2507  0.0  0.0 118608  1384 ?        Ss   23:34   0:00 /usr/sbin/keepalived -D
root      2508  0.0  0.1 122804  2376 ?        S    23:34   0:00 /usr/sbin/keepalived -D
root      2509  0.0  0.1 122804  2420 ?        S    23:34   0:00 /usr/sbin/keepalived -D
root      2515  0.0  0.0 112676   984 pts/0    R+   23:34   0:00 grep --color=auto keepalived

如何区分主和从上的nginx？

  • A机器，是源码包安装的nginx
[root@yong-01 ~]# mv /usr/local/nginx/html/index.html /usr/local/nginx/html/index.html.bak
[root@yong-01 ~]# vim /usr/local/nginx/html/index.html
master This is the default sete.

输入图片说明

  • B机器是yum安装的nginx
    • 默认的索引页在 /usr/share/nginx/html/index.html
[root@yong-02 ~]# mv /usr/share/nginx/html/index.html /usr/share/nginx/html/index.html.bak
[root@yong-02 ~]# vim /usr/share/nginx/html/index.html
backup backup.
  • 访问192.168.180.100这个VIP会看到和主机器（即A机器相同的内容），说明如今访问到的是机器master，VIP在master上

输入图片说明

问题-B机器没法调用nginx服务？

  • B机器关闭nginx服务，keepalived没法拉动nginx服务起来
  • 解决方法：
    • 再次设置755权限，就能够拉动nginx服务了

测试高可用

  1. 模拟线上生产环境，主机器宕机环境，最简单直接的方法，就是直接关闭keepalived服务
  2. 关闭master机器（即A机器）上的keepalived服务关闭
[root@yong-01 ~]# systemctl stop keepalived
  • 查看A机器上的VIP被已经释放掉了
[root@yong-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::8004:45b5:96c5:3ca5/64 scope link 
       valid_lft forever preferred_lft forever
  • 查看backup机器（即B机器）在监听VIP
[root@yong-02 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:36:a2:be brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.135/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.180.100/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.180.136/24 brd 192.168.180.255 scope global secondary ens33:0
       valid_lft forever preferred_lft forever
    inet6 fe80::c44:f02d:4192:8d42/64 scope link 
       valid_lft forever preferred_lft forever
  • 查看B机器日志
[root@yong-02 ~]# tail /var/log/messages
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

  1. 浏览器访问vip，会看到已经变成backup机器上的了mysql

  2. 在master机器（即A机器）启动keepalived服务，会看到vip这个IP马上回来了linux

[root@yong-01 ~]# systemctl start keepalived
[root@yong-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.180.100/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::8004:45b5:96c5:3ca5/64 scope link 
       valid_lft forever preferred_lft forever
  • 查看B机器日志变化
[root@yong-02 ~]# tail /var/log/messages
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:44 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100
Jul  4 15:40:49 yong-02 Keepalived_vrrp[2047]: Sending gratuitous ARP on ens33 for 192.168.180.100

##总结nginx

  • 在生产环境中，可能会用到2-3台backup角色, vim /etc/keepalived/keepalived.conf 这里面的权重调成不通级别，权重越高优先级越高！除了nginx服务的话，还能够作MySQL的高可用集群服务。（作mysql的高可用，必定要保证两边的数据一致）
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程