61.集群介绍 keepalived介绍 keepalived配置高可用

18.1 集群介绍

18.2 keepalived介绍

18.3/18.4/18.5 用keepalived配置高可用集群

扩展

heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433 

DRBD工做原理和配置 http://502245466.blog.51cto.com/7559397/1298945

mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313

 

 

 

 

 

18.1 集群介绍：

 

 

 

 

有多台机器组成了一个庞大的一台大机器。那么一台机器完不成的任务，能够多台一块儿

~1.根据功能划分为两大类：高可用和负载均衡

~2.高可用集群一般为两台服务器，一台工做，另一台做为冗余，当提供服务的机器宕机，冗余将接替继续提供服务

一台机器提供服务，若是挂了，那么另外一台就出来。这样能够最大化的提供系统可用的效率

不少公司把它可用的效率做为他健壮的标准。在业界一些核心的一些角色，作高可用的衡量标准，好比四个九，就是99.99%，也就是说这一年百分之99.99的时间都是在线的，不容许当机，不容许服务不可用。有的是五个九或者是六个九

那怎么才能作到这么高的使用率、可用性。那实际上咱们提供一个高可用的集群出来。一台机器当机，那么另外一台机器立刻接替服务，切换的时间很短，不到一分钟

~3.实现高可用的开源软件有：heartbeat、keepalived

heartbeat有不少bug以及不在更新，咱们使用keepalived。keepalived不但能够实现高可用，还能负载均衡，并且配置简单

~4.负载均衡集群，须要有一台服务器做为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2

好比，一开始只有几百人的访问量，随着发展，上升到几万人，一台机器已经知足不了需求，（优化单台机器好比加内存、cpu等，以及到了瓶颈）那就只能加机器

~5.实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，

商业的有F五、Netscaler，价格昂贵。优点是有很高的并发量，以及很好的稳定性

若是咱们用这种开源的软件，他的稳定性就取决于服务器的稳定性

 

 

单机结构

我想你们最最最熟悉的就是单机结构，一个系统业务量很小的时候全部的代码都放在一个项目中就行了，而后这个项目部署在一台服务器上就行了。整个项目全部的服务都由这台服务器提供。这就是单机结构。

那么，单机结构有啥缺点呢？我想缺点是显而易见的，单机的处理能力毕竟是有限的，当你的业务增加到必定程度的时候，单机的硬件资源将没法知足你的业务需求。此时便出现了集群模式，往下接着看。

集群结构

集群模式在程序猿界由各类装逼解释，有的让你根本没法理解，其实就是一个很简单的玩意儿，且听我一一道来。

单机处理到达瓶颈的时候，你就把单机复制几份，这样就构成了一个“集群”。集群中每台服务器就叫作这个集群的一个“节点”，全部节点构成了一个集群。每一个节点都提供相同的服务，那么这样系统的处理能力就至关于提高了好几倍（有几个节点就至关于提高了这么多倍）。

但问题是用户的请求究竟由哪一个节点来处理呢？最好可以让此时此刻负载较小的节点来处理，这样使得每一个节点的压力都比较平均。要实现这个功能，就须要在全部节点以前增长一个“调度者”的角色，用户的全部请求都先交给它，而后它根据当前全部节点的负载状况，决定将这个请求交给哪一个节点处理。这个“调度者”有个牛逼了名字——负载均衡服务器。

集群结构的好处就是系统扩展很是容易。若是随着大家系统业务的发展，当前的系统又支撑不住了，那么给这个集群再增长节点就好了。可是，当你的业务发展到必定程度的时候，你会发现一个问题——不管怎么增长节点，貌似整个集群性能的提高效果并不明显了。这时候，你就须要使用微服务结构了。

微服务结构

先来对前面的知识点作个总结。

从单机结构到集群结构，你的代码基本无须要做任何修改，你要作的仅仅是多部署几台服务器，没台服务器上运行相同的代码就好了。可是，当你要从集群结构演进到微服务结构的时候，以前的那套代码就须要发生较大的改动了。因此对于新系统咱们建议，系统设计之初就采用微服务架构，这样后期运维的成本更低。但若是一套老系统须要升级成微服务结构的话，那就得对代码大动干戈了。因此，对于老系统而言，到底是继续保持集群模式，仍是升级成微服务架构，这须要大家的架构师深思熟虑、权衡投入产出比。

OK，下面开始介绍所谓的微服务。

微服务就是将一个完整的系统，按照业务功能，拆分红一个个独立的子系统，在微服务结构中，每一个子系统就被称为“服务”。这些子系统可以独立运行在web容器中，它们之间经过RPC方式通讯。

举个例子，假设须要开发一个在线商城。按照微服务的思想，咱们须要按照功能模块拆分红多个独立的服务，如：用户服务、产品服务、订单服务、后台管理服务、数据分析服务等等。这一个个服务都是一个个独立的项目，能够独立运行。若是服务之间有依赖关系，那么经过RPC方式调用。

 

https://mp.weixin.qq.com/s?__biz=MzU3MTI5MjcwMQ==&mid=2247483801&idx=1&sn=822ef1066797c9c977d0f0ddfa

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

 

18.2 keepalived介绍：

 

 

 

 

 

~1.在这里咱们使用keepalived来实现高可用集群，由于heartbeat在centos6上有一些问题，影响实验效果

~2.keepalived经过VRRP协议（Virtual Router Redundancy Protocl）来实现高可用。VRRP协议中文叫虚拟路由冗余协议

~3.在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。

实验中是一台机器而不是路由器

一般状况下，咱们为了节省资源，让N=1。也就是一主一从就能够实现了

~4.master会经过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就须要根据各个backup的优先级来决定谁成为新的mater。

~5.Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。

 

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

18.3/18.4/18.5 用keepalived配置高可用集群：

 

 

 

用高可用的软件（keepalived）来实现高可用。而且要有一个服务去实现高可用（在这里是nginx），也就是把nginx实现高可用的对象。由于不少企业把nginx做为负载均衡器。若是nginx挂掉那么后面的web服务器及时正常也不能使用，这个是不能出现单点故障的

~~master上的操做：

~1.

准备两台机器130和132，130做为master，132做为backup

~2.

两台机器都执行yum install -y keepalived

~3.

两台机器都安装nginx，其中128上已经编译安装过nginx，130上须要yum安装nginx: yum install -y nginx

~4.

设定vip为100。生产环境中公网IP就是VIP

要用ip add来查看ens33的IP。用ifconfig是看不到的

~5.

编辑128上keepalived配置文件，/etc/keepalived/keepailved.conf下是有的，可是咱们不用他这个自带的。内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf获取

~6.

128编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh获取

~7.

给脚本755权限

chmod 755 /usr/local/sbin/check_ng.sh

 

~8.

systemctl start keepalived 130启动服务

 

~~backup上的操做：

~1.

130上编辑配置文件，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf获取

~2.

130上编辑监控脚本，内容从https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh获取

~3.

给脚本755权限

~4.

130上也启动服务 systemctl start keepalived

 

 

 

 

实例：

~~master上的操做：

[root@axinlinux-01 ~]# yum install -y keepalived master上安装keepalived

[root@axinlinux-02 ~]# yum install -y keepalived backup上安装keepalived

[root@axinlinux-01 ~]# ps aux |grep nginx master上检查是否开启nginx（由于以前编译过nginx）

[root@axinlinux-02 ~]# rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 阿鑫操做的时候，backup上yum安装不了nginx。后来是缺乏nginx的源。执行这一条

[root@axinlinux-02 ~]# echo $?

0

[root@axinlinux-02 ~]# yum install -y nginx yum安装nginx

[root@axinlinux-01 ~]# vim /etc/keepalived/keepalived.conf #这个就是keepalived的内容

[root@axinlinux-01 ~]# > !$ #直接重定向这个文件，使他为空。由于咱们不用这个自带的

> /etc/keepalived/keepalived.conf

[root@axinlinux-01 ~]# !vim

vim /etc/keepalived/keepalived.conf

global_defs { #全局的定义参数

notification_email { #出现问题是给那个邮箱发邮件

519321158.qq.com

}

notification_email_from root@aminglinux.com #由哪一个邮件发出去

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

 

vrrp_script chk_nginx { #这个是检测服务是否正常的。就是那个check模块

script "/usr/local/sbin/check_ng.sh" #这个是一个shell脚本，一会会去写。这个脚本的做用就是检查服务是否正常的，若是不正常要把它启动起来

interval 3 #检测的间断是三秒钟

}

 

vrrp_instance VI_1 { #定义master相关

state MASTER #角色叫master。（从的话就叫backup）！这个要跟从不同

interface ens33 #经过网卡去发vrrp协议

virtual_router_id 51 #定义路由器的ID是什么 ！这个ID要保持一致，说明他们是一组

priority 100 #权重（主和从的权重是不同的） ！这个要跟从不同

advert_int 1

authentication { #认证相关的信息

auth_type PASS #认证的类型是PASS（密码的形式）

auth_pass aminglinux>com #定义密码的字符串

}

virtual_ipaddress { #定义它的vip。生产环境中公网IP就是VIP。由于定义了ens33，用ip add去查看他的IP

两台机器（主和从）正常是主在提供服务。若是主挂了，那么从起来的话确定要提供服务啊，好比nginx。那么从提供nginx，那么咱们去访问nginx的时候，访问哪一个IP呢，你把域名解析到哪一个IP上去呢？假如解析到主上，主都已经挂了，从起来了，那么从的IP是什么呢。因此，咱们要给他定义一个公有的IP。主上用的这个IP，从也要用这个IP。这个共有IP就叫作vip。这个IP是能够随时的下掉去配置的。那这个VIP就能够在这定义

正常的话master上要启动绑定这个IP。若是master当掉，那么从就要起来绑定这个IP。那么咱们最终解析域名，解析到这个IP上，不论是主上仍是从上都无所谓了

192.168.188.100

}

 

track_script { #前面定义的脚本，这里要给他定义一个加载。就是chk_nginx

chk_nginx

}

 

}

 

#!/bin/bash

#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S` #这个d表示时间

#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`

#若是进程为0，则启动nginx，而且再次检测nginx进程数量，

#若是还为0，说明nginx没法启动，此时须要关闭keepalived

if [ $n -eq "0" ]; then

/etc/init.d/nginx start #跟从的启动方式不同。由于主是编译的，能够这样启动

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log #若是么有启动起来，错误日志定义到这个里去

systemctl stop keepalived #既然nginx没有启动成功，那么keepalive也没有意义存在

在高可用集群里有个脑裂的概念。为何要把主上的keepalived杀掉呢。由于这个时候要启动从了。主一停掉keepalived那从就要自动起来服务。那若是主和从的keepalived都起来，那二者就会争抢资源。好比VIP要争抢，那两个机器都监听了VIP，那域名访问的时候去访问哪一个机器呢。那就会出现紊乱。这种状况就叫作脑裂。这是不容许发生的

fi

fi

[root@axinlinux-01 ~]# chmod 755 /usr/local/sbin/check_ng.sh

[root@axinlinux-01 ~]# systemctl start keepalived #开启keepalived

[root@axinlinux-01 ~]# ps aux |grep keepalived #看一下keepalived是否起来

root 2825 0.2 0.0 118656 1396 ? Ss 23:14 0:00 /usr/sbin/keepalived -D

root 2826 0.0 0.1 127520 3304 ? S 23:14 0:00 /usr/sbin/keepalived -D

root 2828 0.2 0.1 127460 2852 ? S 23:14 0:00 /usr/sbin/keepalived -D

root 2877 0.0 0.0 112720 984 pts/0 S+ 23:14 0:00 grep --color=auto keepalived

[root@axinlinux-01 ~]# ps aux |grep nginx #看一下nginx是否起来

root 1093 0.0 0.0 45868 1276 ? Ss 21:45 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

nobody 1094 0.0 0.2 48360 4168 ? S 21:45 0:00 nginx: worker process

nobody 1095 0.0 0.2 48360 3908 ? S 21:45 0:00 nginx: worker process

root 2921 0.0 0.0 112724 980 pts/0 S+ 23:15 0:00 grep --color=auto nginx

[root@axinlinux-01 ~]# /etc/init.d/nginx stop #咱们作个试验，把nginx关掉，看他是否自动起来

Stopping nginx (via systemctl): [ 肯定 ]

[root@axinlinux-01 ~]# !ps #自动起来。脚本生效

ps aux |grep nginx

root 3067 0.0 0.0 45868 1280 ? Ss 23:16 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

nobody 3068 0.0 0.2 48360 4164 ? S 23:16 0:00 nginx: worker process

nobody 3069 0.0 0.2 48360 3912 ? S 23:16 0:00 nginx: worker process

root 3074 0.0 0.0 112720 976 pts/0 S+ 23:16 0:00 grep --color=auto nginx

[root@axinlinux-01 ~]# cat /var/log/messages #这是他的日志

[root@axinlinux-01 ~]# systemctl stop firewalld #主从上都要关闭防火墙和selinux

[root@axinlinux-01 ~]# setenforce 0

 

~~backup上的操做：

[root@axinlinux-02 ~]# setenforce 0 #主从都要关闭防火墙和selinux

[root@axinlinux-02 ~]# getenforce

Permissive

[root@axinlinux-02 ~]# systemctl stop firewalld

[root@axinlinux-02 ~]# vim /etc/keepalived/keepalived.conf #配置从的配置文件

global_defs {

notification_email {

aming@aminglinux.com

}

notification_email_from root@aminglinux.com

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

 

vrrp_script chk_nginx {

script "/usr/local/sbin/check_ng.sh" #监控脚本的路径

interval 3

}

 

vrrp_instance VI_1 {

state BACKUP

interface ens33 #网卡ens33

virtual_router_id 51

priority 90 #权重90，要和主不同，比主低

advert_int 1

authentication {

auth_type PASS

auth_pass aminglinux>com

}

virtual_ipaddress {

192.168.208.100 #vip跟主保持同样

}

 

track_script {

chk_nginx

}

[root@axinlinux-02 ~]# vi /usr/local/sbin/check_ng.sh

#时间变量，用于记录日志

d=`date --date today +%Y%m%d_%H:%M:%S`

#计算nginx进程数量

n=`ps -C nginx --no-heading|wc -l`

#若是进程为0，则启动nginx，而且再次检测nginx进程数量，

#若是还为0，说明nginx没法启动，此时须要关闭keepalived

if [ $n -eq "0" ]; then

systemctl start nginx #在这有跟主不太同样。由于主是源码编译的，使用了chkconfig这个工具，可使用/etc/init.d/nginx start。从是域名安装的要用 systemctl start nginx

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log

systemctl stop keepalived

fi

fi

[root@axinlinux-02 ~]# chmod 755 !$ #注意改权限

chmod 755 /usr/local/sbin/check_ng.sh

[root@axinlinux-02 ~]# systemctl start keepalived

[root@axinlinux-02 ~]# ps aux |grep keepalived

root 1700 0.0 0.0 118608 1388 ? Ss 23:41 0:00 /usr/sbin/keepalived -D

root 1701 0.3 0.1 127468 3300 ? S 23:41 0:00 /usr/sbin/keepalived -D

root 1702 0.3 0.1 127408 2836 ? S 23:41 0:00 /usr/sbin/keepalived -D

root 1733 0.0 0.0 112676 992 pts/0 S+ 23:41 0:00 grep --color=auto keepalived

 

以上master和backup配置完成。

咱们ip add看一下master的ens 33的IP，用浏览器访问一下

那用IP访问的时候他访问哪里去了呢。就是在nginx的主虚拟主机root的路径：

[root@axinlinux-01 ~]# cat /usr/local/nginx/conf/vhost/aaa.com.conf

server

{

listen 80 default_server;

server_name aaa.com;

index index.html index.htm index.php;

root /data/wwwroot/default; #就是主虚拟主机的root路径下的

[root@axinlinux-01 ~]# ls /data/wwwroot/default #也就是这个文件

index.html

[root@axinlinux-01 ~]# cat /data/wwwroot/default/index.html

master master. This is default site. #内容和浏览器的是同样的

 

咱们ip add看一下backup的ens 33的IP，用浏览器访问一下

由于从的nginx是yum安装的。他的默认页在：

[root@axinlinux-02 ~]# cat /usr/share/nginx/html/index.html

···

 

那咱们在来访问vip

访问的是master的，因此他的vip在master这