Linux集群架构、用keepalived配置高可用集群、LVS NAT模式搭建

时间  2019-11-06
标签 linux 集群 架构 keepalived 配置 可用 lvs nat 模式 搭建 栏目 Linux 繁體版
原文   原文链接

 

18.1 集群介绍
18.2 keepalived介绍
18.3/18.4/18.5 用keepalived配置高可用集群
18.6 负载均衡集群介绍
18.7 LVS介绍
18.8 LVS调度算法
18.9/18.10 LVS NAT模式搭建html

 


VRRP协议                     https://blog.csdn.net/u013920085/article/details/21184143mysql

LVS 三种模式图解          http://blog.51cto.com/jiekeyang/1839583linux

fullnat模式                   https://ieevee.com/tech/2015/12/08/fullnat.htmlnginx

 

 

1、集群介绍git

根据功能划分为两大类：高可用和负载均衡
 高可用集群一般为两台服务器，一台工做，另一台做为冗余，当提供服务的机器宕机，冗余将接替继续提供服务
 实现高可用的开源软件有：heartbeat、keepalived
 负载均衡集群，须要有一台服务器做为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
 实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F五、Netscaler

2、 keepalived介绍算法

在这里咱们使用keepalived来实现高可用集群，由于heartbeat在centos6上有一些问题，影响实验效果
1. keepalived经过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
2.在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
3.master会经过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就须要根4.据各个backup的优先级来决定谁成为新的mater。
4.Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

3、用keepalived配置高可用集群sql

实验准备
    1. 准备两台机器001和002，001做为master，002做为backup
    2. 两台机器都执行安装yum install -y keepalived
    3. 两台机器都安装nginx,nginx做为高可用的对象

编辑001上的keepalived配置文件上配置，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf获取apache

原配置文件清空，并写入如下配置vim

> /etc/keepalived/keepalived.conf   清空后端

global_defs {
   notification_email {
     foutt7777@163.com        //定义出现问题时接收邮件的邮箱
   }
   notification_email_from            //定义发邮件地址（实际没有）
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"        //此脚本为监控nginx服务是否正常，稍后定义该脚本
    interval 3                    //检测的间隔是3秒
}

vrrp_instance VI_1 {
    state MASTER            //定义角色为master
    interface ens33         //网卡
    virtual_router_id 51    //定义路由器的id为51，主从保持一致
    priority 100            //权重100，此数值要大于backup，决定优先级
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456    //定义密码    
    }
    virtual_ipaddress {
        192.168.116.100    //定义VIP，此处为公有的ip，主从均可以访问
    }
    track_script {
        chk_nginx         //加载监控脚本，这里和上面vrrp_script后面的字符串保持一致
    }
}

编辑监控脚本check_ng.sh，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh获取

vim /usr/local/sbin/check_ng.sh    路径与keepalived.conf配置文件中的相同，写入以下内容

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#若是进程为0，则启动nginx，而且再次检测nginx进程数量，
#若是还为0，说明nginx没法启动，此时须要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

给该脚本赋予755权限，不然没法被keepalived调用

chmod 755 /usr/local/sbin/check_ng.sh

开启keepalived服务，中止防火墙，关闭SElinux

systemctl start keepalived

ps aux |grep keep

keepalived的日志存放在/var/log/messages文件中

关闭防火墙、SElinux，主从都要关闭

systemctl stop firewalld

getenforce

setenforce 0

Permissive  临时关闭所显示的状态

在002上编辑配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf获取

清空原配置文件，并按如下内容写入配置文件中

 

 vim /etc/keepalived/keepalived.conf

global_defs {
   notification_email {
     foutt7777@163.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51        //id和主同样
    priority 90                //权重90，比主少
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456        //密码
    }
    virtual_ipaddress {
        192.168.116.100        //ip和主同样
    }
    track_script {
        chk_nginx
    }
}

002上编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh获取

vim /usr/local/sbin/check_ng.sh

nginx两种启动方式：

systemctl start nginx     yum安装启动方式
/etc/init.d/nginx start   源码包编译安装启动方式
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#若是进程为0，则启动nginx，而且再次检测nginx进程数量，
#若是还为0，说明nginx没法启动，此时须要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

给该脚本赋予755权限，不然没法被keepalived调用

chmod 755 /usr/local/sbin/check_ng.sh

开启keepalived服务，中止防火墙，关闭SElinux

systemctl start keepalived

关闭防火墙，与主上同样

systemctl stop firewalld
getenforce
setenforce 0

此时使用主的ip直接访问

访问到了该文件

cat /usr/local/nginx/conf/vhost/aaa.com.conf
cat /data/wwwroot/default/index.html

使用从的ip直接访问

虚拟IP 192.168.116.100显示的页面为master的页面

须要使用ip add才能够查看到 192.168.116.100此vip，ifconfig看不到 ，vip在master上

002没有vip

测试高可用，一般使用两台机器

在master上增长iptabls规则 
 iptables -I OUTPUT -p vrrp -j DROP        把主上的vrr协议，出去的包封掉，不能达到切换资源的目的

因此要想让001上的master宕机；直接关闭keepalived服务

systemctl stop keepalived     关闭keepalived服务，此时主上没有了vip

vip在从上显示

此时访问vip  192.168.116.100，此时VIP完美转移到从的backup上面，不影响用户使用

若是在主上启动systemctl start keepalived.service再去访问vip，会当即回到matser上

4、负载均衡集群介绍

负载均衡软件分类：

主流的负载均衡开源软件：LVS、keepalived、haproxy、nginx等
其中，LVS属于4层（网络OSI7层模型），nginx属于7层，haproxy便可以是4层，也能够是7层。
keepalived的负载均衡功能其实就是lvs
lvs这种4层的负载均衡是能够分发除80外的其余端口通讯，好比mysql，而nginx仅仅支持http、https、mail，haproxy也能够支持mysql
4层和7层负载比较：
LVS4层的更稳定，能承受更多的请求
nginx 7层的更加灵活，能实现更多的个性化须要

5、lvs介绍

LVS是由国人章文嵩开发
 流行度不亚于apache的httpd，基于TCP/IP作的路由和转发，稳定性和效率很高
 LVS最新版本基于Linux内核2.6，有好多年不更新了
 LVS有三种常见的模式：NAT、DR、IP Tunnel
 LVS架构中有一个核心角色叫作分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

LVS NAT模式

这种模式借助iptables的nat表来实现
 用户的请求到分发器后，经过预设的iptables规则，把请求的数据包转发到后端的rs上去
 rs须要设定网关为分发器的内网ip
 用户请求的数据包和返回给用户的数据包所有通过分发器，因此分发器成为瓶颈
 在nat模式中，只须要分发器有公网ip便可，因此比较节省公网ip资源

LVS IP Tunnel模式

这种模式，须要有一个公共的IP配置在分发器和全部rs上，咱们把它叫作vip
客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包作一个加工，会把目标IP改成rs的IP，这样数据包就到了rs上
rs接收数据包后，会还原原始数据包，这样目标IP为vip，由于全部rs上配置了这个vip，因此它会认为是它本身

LVS DR模式

这种模式，也须要有一个公共的IP配置在分发器和全部rs上，也就是vip
和IP Tunnel不一样的是，它会把数据包的MAC地址修改成rs的MAC地址
rs接收数据包后，会还原原始数据包，这样目标IP为vip，由于全部rs上配置了这个vip，因此它会认为是它本身

6、LVS调度算法

前四种是最经常使用的

轮询 Round-Robin  rr
 加权轮询 Weight Round-Robin wrr
 最小链接 Least-Connection lc
 加权最小链接 Weight Least-Connection wlc
 基于局部性的最小链接 Locality-Based Least Connections lblc
 带复制的基于局部性最小链接 Locality-Based Least Connections with Replication  lblcr
 目标地址散列调度 Destination Hashing dh
 源地址散列调度 Source Hashing  sh

7、LVS NAT模式搭建

试验原理：

LVS NAT模式借助iptables的nat表来实现：

用户的请求到分发器后，经过预设的iptables规则，把请求的数据包转发到后端的rs上去.
rs须要设定网关为分发器的内网ip.
用户请求的数据包和返回给用户的数据包所有通过分发器，因此分发器成为瓶颈.
在nat模式中，只须要分发器有公网ip便可，因此比较节省公网ip资源.

试验准备：

三台机器：

分发器，也叫调度器（简写为dir） 内网：192.168.116.3，外网：192.168.253.0（vmware仅主机模式）

rs1 内网：192.168.116.33，设置网关为192.168.116.3

rs2 内网：192.168.116.133，设置网关为192.168.116.3，克隆一台003机器,ip改成192.168.116.133

分发器须要两个网卡，也就是001机器上须要两个网卡,vmware上配置第二个网卡为仅主机模式

此时查看ens37网卡的IP为192.168.253.128

在三台机器上查看iptables规则，并执行如下操做

iptables -nvL
systemctl stop firewalld            关闭firewalld 
systemctl disable firewalld        禁止开机启动
systemctl enable iptables            开启iptables服务
systemctl start iptables    
iptables -F
service iptables save   保存规则，调用空规则

若是没有iptables服务，须要安装iptables-services服务 ：  yum install -y iptables-services

关闭三台机器的SElinux 

setenforce 0

为了保险起见，修改配置文件

vim /etc/selinux/config
    SELINUX=disabled

把rs1（002），rs2（003）的网关设置为分发器的内网ip，也就是001的内网ip：192.168.116.3，不然没法进行通讯

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改完成重启网卡

/etc/init.d/network restart

查看其网关 ：       route -n

NAT模式搭建

只须要在分发器dir上安装ipvsadm，即只须要在001安装

yum install -y ipvsadm

在dir上建立并编写lvs_nat.sh脚本，vim /usr/local/sbin/lvs_nat.sh        //内容以下

#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward        #给此文件重定向了一个新的数字1到文件中，为内核参数，对内核作调整，实现路由转发
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，001机器上的两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.116.0/24  -j MASQUERADE
#director设置ipvsadm规则，-C清空规则，-A增长规则，-t跟分发器ip，wlc为算法，-p指定超时时间，单位秒，-r指定real_server是谁，-m为NAT的模式，-w是权重
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.253.128:80 -s wlc -p 3            
$IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.33:80 -m -w 1
$IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.133:80 -m -w 1

配置完成，执行一下看是否有报错

sh /usr/local/sbin/lvs_nat.sh

NAT模式效果测试

两台rs上都安装nginx
设置两台rs的主页，作一个区分，也就是说直接curl两台rs的ip时，获得不一样的结果

开启002和003的nginx并设置两台机器的主页，作区分

curl localhost

vim /usr/local/nginx/html/index.html

 

 

进行测试：

直接访问公网ip，页面测试容易有缓存，能够按照下面使用curl测试

为了试验效果进入脚本，把延迟时间去掉

vim /usr/local/sbin/lvs_nat.sh
sh /usr/local/sbin/lvs_nat.sh  执行脚本

ipvsadm -ln     查看其规则，小写（L）n，并把wlc规则改成rr，使其显示的更加均衡


curl 192.168.253.128  访问公网ip进行测试，此时说明试验成功

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程