第18章 Linux集群架构
keepalived介绍
- 在这里使用keepalived来实现高可用集群，由于heartbeat在centos6上有一些问题，影响实验效果
- heartbeat 切换的时候，会不是很及时——>好比：主 已经宕机了，但 从 却一直启动不了，通讯会不畅，因此不使用 heartbeat
- keepalived经过VRRP（Virtual Router Redundancy Protocl 中文为：虚拟路由冗余协议）来实现高可用。
- 虚拟路由冗余协议(Virtual Router Redundancy Protocol，简称VRRP)是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议，1998年已推出正式的RFC2338协议标准。VRRP普遍应用在边缘网络中，它的设计目标是支持特定状况下IP数据流量失败转移不会引发混乱，容许主机使用单路由器，以及及时在实际第一跳路由器使用失败的情形下仍可以维护路由器间的连通性。
- 在这个协议里，会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
- master会经过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就须要根据各个backup的优先级来决定谁成为新的mater。
- Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。
用keepalived配置高可用集群
-
准备两台机器130和132，130做为master，132做为backupphp
-
两台机器都执行yum install -y keepalivedhtml
-
两台机器都安装nginx，其中130上已经编译安装过nginx，132上须要yum安装nginx: yum install -y nginxmysql
-
设定vip为100linux
-
编辑130上keepalived配置文件，内容获取地址nginx
-
130编辑监控脚本，内容获取地址https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.confgit
-
给脚本755权限web
-
systemctl start keepalived 130启动服务算法
-
132上编辑配置文件，内容获取地址sql
-
132上编辑监控脚本，内容获取地址apache
-
给脚本755权限
-
132上也启动服务 systemctl start keepalived
keepalived配置高可用集群
1.首先准备两台机器，都安装keepalived
- keepalived，实际是包含一个服务的，也就是说这个服务用来实现高可用
A机器，安装keepalived [root@xuexi-001 ~]# yum install -y keepalived B机器，安装keepalived [root@localhost ~]# yum install -y keepalived
2.这里使用 nginx ，把它做为一个高可用的对象——>使用nginx做为演示对象的缘由，由于nginx在工做中，在生产环境中，不少企业把nginx作一个负载均衡器
- 假设nginx一旦挂掉，那么后端全部的web，即便说是正常的，那也没法访问到
3.如果A、B机器没有装nginx服务，能够直接 yum安装
- 如果lnmp安装过nginx，则不须要安装了（源码包安装的nginx）
- 直接yum安装的nginx，二者很容易区分（PS：有时直接yum安装不了，须要安装yum扩展源——>yum install -y epel-release）
- 源码包安装nginx
- 源码安装nginx常常出现的错误
- A机器源码安装nginx （PS：有时初始化的时候，会看到没法初始化，是由于缺乏一些包yum install -y gcc）
B机器yum安装nginx [root@localhost ~]# yum install -y epel-release [root@localhost ~]# yum install -y nginx [root@localhost ~]# systemctl start nginx [root@localhost ~]# ps aux | grep nginx root 1410 0.0 0.2 120752 2096 ? Ss 22:26 0:00 nginx: master process /usr/sbin/nginx nginx 1411 0.0 0.3 121136 3124 ? S 22:26 0:00 nginx: worker process root 1413 0.0 0.0 112676 984 pts/0 R+ 22:27 0:00 grep --color=auto nginx
4.更改keepalived配置文件了，内容地址
- 默认的配置文件路径在/etc/keepalived/keepalived.conf
- 清空文件的快捷键方法 > !$
A机器更改配置文件
[root@xuexi-001 ~]# ls /etc/keepalived/keepalived.conf
/etc/keepalived/keepalived.conf
[root@xuexi-001 ~]# > !$ //直接清空文件内容了
> /etc/keepalived/keepalived.conf
[root@xuexi-001 ~]# cat /etc/keepalived/keepalived.conf
[root@xuexi-001 ~]# vim /etc/keepalived/keepalived.conf //去文件地址去下载内容
将拷贝的内容复制进去
只须要改网卡名字和飘逸IP为192.168.133.100
-----------------全局配置 ------------------
global_defs { //global_defs 全局配置标识
notification_email { //notification_email用于设置报警邮件地址
xuexi1@163.com //能够设置多个，每行一个
}
notification_email_from xuexi1@163.com //设置邮件发送地址
smtp_server 127.0.0.1 //设置邮件的smtp server地址
smtp_connect_timeout 30 //设置链接smtp sever超时时间
router_id LVS_DEVEL
}
---------------------------- VRRP配置 ---------------------------------------
vrrp_script chk_nginx {
script "/usr/local/sbin/check_ng.sh" //检查服务是否正常，经过写脚本实现，脚本检查服务健康状态
interval 3 //检查的时间间断是3秒
}
vrrp_instance VI_1 { //VRRP配置标识 VI_1是实例名称
state MASTER //定义master相关
interface ens33 //经过vrrp协议去通讯、去发广播。配置时，需注意本身的网卡名称
virtual_router_id 51 //定义路由器ID ，配置的时候和从机器一致
priority 100 //权重，主角色和从角色的权重是不一样的
advert_int 1 //设定MASTER与BACKUP主机质检同步检查的时间间隔，单位为秒
authentication { //认证相关信息
auth_type PASS //这里认证的类型是PASS
auth_pass aminglinux>com //密码的形式是一个字符串
}
virtual_ipaddress { //设置虚拟IP地址 (VIP),又叫作漂移IP地址
192.168.5.100 //更改成192.168.5.100
}
track_script { //加载脚本
chk_nginx
}
}
保存退出
- virtual_ipaddress：简称VIP，这个vip，两台机器，一个主，一个从，正常的状况是主在服务，主宕掉了，从起来了，从启动服务，从启动nginx之后，，启动之后，访问那个IP呢？把域名解析到那个IP上呢？假如解析到主上，主宕掉了，因此这个，须要定义一个公有IP（主上用的IP，从上也用的IP）；这个IP是随时能够夏掉，去配置的
5.定义监控脚本，脚本内容获取地址https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh
- 脚本路径在keepalived配置文件中有定义，路径为/usr/local/sbin/check_ng.sh
A机器定义监控脚本
[root@xuexi-001 ~]# vi /usr/local/sbin/check_ng.sh
#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#若是进程为0，则启动nginx，而且再次检测nginx进程数量，
#若是还为0，说明nginx没法启动，此时须要关闭keepalived
if [ $n -eq "0" ]; then
/etc/init.d/nginx start
n2=`ps -C nginx --no-heading|wc -l`
if [ $n2 -eq "0" ]; then
echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
systemctl stop keepalived
fi
fi
保存退出
- “脑裂”，在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，原本为一总体、动做协调的HA系统，就分裂成为2个独立的个体。因为相互失去了联系，都觉得是对方出了故障。两个节点上的HA软件像“裂脑人”同样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，致使数据损坏
- 如何判断脑裂？
- 分别在两台机查看当前服务器是否拥有虚拟IP，若是两台服务器都拥有，则说明发生了脑裂，证实目前双机通讯出现问题，产生此问题的原有在于 两台服务器都探测不到组内其余服务器的状态（心跳请求没法正常响应），私自断定另外一台服务器挂起，则抢占虚拟IP，脑裂的出现是不被容许的，解决此问题的方法为检查防火墙设置（关闭防火墙）或者使用串口通讯。
6.脚本建立完以后，还须要改变脚本的权限（不更改权限，就没法自动加载脚本，那就没法启动keepalived服务）
[root@xuexi-001 ~]# chmod 755 /usr/local/sbin/check_ng.sh
7.启动keepalived服务，并查看是否启动成功（PS：启动不成功，有多是防火墙未关闭或者规则限制致使的）
- systemctl stop firewalld 关闭firewalld
- iptables -nvL
- setenforce 0 临时关闭selinux
- getenforce命令查看是否为Permissive
- 这时再来启动keepalived，就会看到keepalived进程服务了
[root@xuexi-001 ~]# systemctl start keepalived [root@xuexi-001 ~]# ps aux | grep keepalived root 2276 0.0 0.0 118652 1396 ? Ss 23:11 0:00 /usr/sbin/keepalived -D root 2277 0.0 0.1 127516 3304 ? S 23:11 0:00 /usr/sbin/keepalived -D root 2278 0.0 0.1 127456 2840 ? S 23:11 0:00 /usr/sbin/keepalived -D root 2303 0.0 0.0 112720 976 pts/0 R+ 23:11 0:00 grep --color=auto keepalived
8.查看nginx服务进程
[root@xuexi-001 ~]# ps aux |grep nginx root 1035 0.0 0.0 46040 1292 ? Ss 20:14 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf nobody 1041 0.0 0.2 48576 4188 ? S 20:14 0:00 nginx: worker process nobody 1042 0.0 0.2 48576 3928 ? S 20:14 0:00 nginx: worker process root 2389 0.0 0.0 112720 968 pts/0 R+ 23:12 0:00 grep --color=auto nginx
9.这时中止nginx服务
- /etc/init.d/nginx stop
[root@xuexi-001 ~]# /etc/init.d/nginx stop Stopping nginx (via systemctl): [ 肯定 ]
10.再来查看nginx服务进程，会看到自动加载了
[root@xuexi-001 ~]# ps aux |grep nginx root 2478 0.0 0.0 46040 1292 ? Ss 23:12 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf nobody 2480 0.0 0.2 48576 4192 ? S 23:12 0:00 nginx: worker process nobody 2481 0.0 0.2 48576 3928 ? S 23:12 0:00 nginx: worker process root 2515 0.0 0.0 112720 972 pts/0 R+ 23:12 0:00 grep --color=auto nginx
11.keepalived日志文件路径
- /var/log/messages
12.查看ip地址，使用 ip add 命令，而不能使用ifconfig命令，由于 ifconfig命令 是没法查看到vip192.168.5.100这个IP的
[root@xuexi-001 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:bf brd ff:ff:ff:ff:ff:ff
inet 192.168.5.130/24 brd 192.168.5.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.100/32 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.150/24 brd 192.168.5.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::9625:3e1d:12c7:4fe6/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:c9 brd ff:ff:ff:ff:ff:ff
13.检查A、B 机器下防火墙和selinux是否关闭了，若没有关闭，可能会致使实验失败
- systemctl stop firewalld 关闭firewalld
- iptables -nvL
- setenforce 0 临时关闭selinux
- getenforce命令查看是否为Permissive
以上就是主机器A的配置
backup 机器配置
1.在B机器yum安装nginx和keepalived
[root@hf-01 ~]# yum install -y epel-release [root@hf-01 ~]# yum install -y nginx
2.关闭B机器的防火墙和selinux
- iptables -F 清空规则
- setenforce 0 临时关闭selinux
3.自定义B机器keepalived配置文件，内容获取地址，更改虚拟IP和主同样的 https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf
首先清空B机器keepalived里面自带的配置文件
[root@localhost ~]# > /etc/keepalived/keepalived.conf
而后复制配置文件并粘贴进去，更改虚拟IP和主同样的
[root@localhost ~]# vi !$
vi /etc/keepalived/keepalived.conf
global_defs {
notification_email {
aming@aminglinux.com
}
notification_email_from root@aminglinux.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx {
script "/usr/local/sbin/check_ng.sh"
interval 3
}
vrrp_instance VI_1 {
state BACKUP //这里 和master不同的名字
interface ens33 //网卡和当前机器一致，不然没法启动keepalived服务
virtual_router_id 51 //和主机器 保持一致
priority 90 //权重，要比主机器小的数值
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux>com
}
virtual_ipaddress {
192.168.5.100 //这里更改成192.168.5.100
}
track_script {
chk_nginx
}
}
保存退出
4.定义监控脚本，路径再keepalived里面已定义过，脚本内容地址 https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh
- 这个脚本和主上的脚本有一点区别，启动nginx的命令不一样，由于一个是yum安装，一个是源码包安装
[root@localhost ~]# vi /usr/local/sbin/check_ng.sh
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#若是进程为0，则启动nginx，而且再次检测nginx进程数量，
#若是还为0，说明nginx没法启动，此时须要关闭keepalived
if [ $n -eq "0" ]; then
systemctl start nginx
n2=`ps -C nginx --no-heading|wc -l`
if [ $n2 -eq "0" ]; then
echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log systemctl stop keepalived
fi
fi
保存退出
5.改动脚本的权限，设置为755权限
[root@localhost ~]# chmod 755 /usr/local/sbin/check_ng.sh
6.B机器启动keepalived服务
- systemctl start keepalived
[root@localhost ~]# systemctl start keepalived [root@localhost ~]# ps aux |grep keepalived root 1499 0.0 0.1 118608 1388 ? Ss 23:27 0:00 /usr/sbin/keepalived -D root 1500 0.0 0.3 120732 3112 ? S 23:27 0:00 /usr/sbin/keepalived -D root 1501 0.0 0.2 120732 2532 ? S 23:27 0:00 /usr/sbin/keepalived -D root 1538 0.0 0.0 112676 984 pts/0 R+ 23:27 0:00 grep --color=auto keepalived
如何区分主和从上的nginx？
A机器，是源码包安装的nginx（PS：这是lnmp配置好的环境虚拟主机内容）
[root@xuexi-001 ~]# cat /usr/local/nginx/conf/vhost/
aaa.com.conf proxy.conf test.com.conf
load.conf ssl.conf
[root@xuexi-001 ~]# cat /usr/local/nginx/conf/vhost/aaa.com.conf
server
{
listen 80 default_server;
server_name aaa.com
index index.html index.htm index.php;
root /data/wwwroot/default;
location ~ \.php$
{
include fastcgi_params;
fastcgi_pass unix:/tmp/aming.sock;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /data/wwwroot/default$fastcgi_script_name;
}
}
[root@xuexi-001 ~]# cat /data/wwwroot/default/index.html
master This is the default site.
- B机器是yum安装的nginx
- 默认的索引页在 /usr/share/nginx/html/index.html
[root@localhost ~]# vi /usr/share/nginx/html/index.html backup.backup
- 访问192.168.5.100这个VIP会看到和主机器（即A机器相同的内容），说明如今访问到的是机器master，VIP在master上
问题-B机器没法调用nginx服务？
- B机器关闭nginx服务，keepalived没法拉动nginx服务起来
- 解决方法：
- 再次设置755权限，就能够拉动nginx服务了
测试高可用
1.模拟线上生产环境，主机器宕机环境，最简单直接的方法，就是直接关闭keepalived服务
2.关闭master机器（即A机器）上的keepalived服务关闭
[root@xuexi-001 ~]# systemctl stop keepalived
3.查看A机器上的VIP被已经释放掉了
[root@xuexi-001 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:bf brd ff:ff:ff:ff:ff:ff
inet 192.168.5.130/24 brd 192.168.5.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.150/24 brd 192.168.5.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::9625:3e1d:12c7:4fe6/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:c9 brd ff:ff:ff:ff:ff:ff
4.查看backup机器（即B机器）在监听VIP
[root@localhost ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:36:a3:32 brd ff:ff:ff:ff:ff:ff
inet 192.168.5.133/24 brd 192.168.5.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.100/32 scope global ens33
valid_lft forever preferred_lft forever
inet6 fe80::cf14:5db2:1b49:f0c2/64 scope link
valid_lft forever preferred_lft forever
5.查看B机器日志
[root@localhost ~]# tail /var/log/messages Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100
6.浏览器访问vip，会看到已经变成backup机器上的了
7.在master机器（即A机器）启动keepalived服务，会看到vip这个IP马上回来了
[root@xuexi-001 ~]# systemctl start keepalived
[root@xuexi-001 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:bf brd ff:ff:ff:ff:ff:ff
inet 192.168.5.130/24 brd 192.168.5.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.100/32 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.150/24 brd 192.168.5.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::9625:3e1d:12c7:4fe6/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:c9 brd ff:ff:ff:ff:ff:ff
inet6 fe80::44c4:9bed:dd1f:6c01/64 scope link
valid_lft forever preferred_lft forever
8.查看B机器日志变化
[root@localhost ~]# tail /var/log/messages Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 [root@localhost ~]# tail /var/log/messages Sep 3 23:46:52 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:46:57 localhost Keepalived_vrrp[1501]: Sending gratuitous ARP on ens33 for 192.168.5.100 Sep 3 23:50:01 localhost Keepalived_vrrp[1501]: VRRP_Instance(VI_1) Received advert with higher priority 100, ours 90 Sep 3 23:50:01 localhost Keepalived_vrrp[1501]: VRRP_Instance(VI_1) Entering BACKUP STATE Sep 3 23:50:01 localhost Keepalived_vrrp[1501]: VRRP_Instance(VI_1) removing protocol VIPs.
总结
- 在生产环境中，可能会用到2-3台backup角色, vim /etc/keepalived/keepalived.conf 这里面的权重调成不一样级别，权重越高优先级越高！除了nginx服务的话，还能够作MySQL的高可用集群服务。（作mysql的高可用，必定要保证两边的数据一致）
LVS 介绍
- LVS是由国人章文嵩开发
- 流行度不亚于apache的httpd，基于TCP/IP作的路由和转发，稳定性和效率很高
- LVS最新版本基于Linux内核2.6，有好多年不更新了
- LVS有三种常见的模式：NAT、DR、IP Tunnel
- LVS架构中有一个核心角色叫作分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）
LVS三种模式：
一、 LVS NAT模式
- 这种模式借助iptables的nat表来实现
- 用户的请求到分发器后，经过预设的iptables规则，把请求的数据包转发到后端的rs上去
- rs须要设定网关为分发器的内网ip
- 用户请求的数据包和返回给用户的数据包所有通过分发器，因此分发器成为瓶颈
- 在nat模式中，只须要分发器有公网ip便可，因此比较节省公网ip资源
# 使用NAT 这种模式的请求量不能过大 通常十台之内，超过十台就有点力不从心了，除非机器配置很高，网卡是千兆网卡，万兆光纤。
二、 LVS IP Tunnel模式
- 这种模式，须要有一个公共的IP配置在分发器和全部rs上，咱们把它叫作vip
- 客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包作一个加工，会把目标IP改成rs的IP，这样数据包就到了rs上
- rs接收数据包后，会还原原始数据包，这样目标IP为vip，由于全部rs上配置了这个vip，因此它会认为是它本身 [![]
三、LVS DR模式
- 这种模式，也须要有一个公共的IP配置在分发器和全部rs上，也就是vip
- 和IP Tunnel不一样的是，它会把数据包的MAC地址修改成rs的MAC地址
- rs接收数据包后，会还原原始数据包，这样目标IP为vip，由于全部rs上配置了这个vip，因此它会认为是它本身
NAT模式搭建 – 准备工做
- 三台机器
- 分发器，也叫调度器（简写为dir）
- 内网：133.130，外网：142.147（vmware仅主机模式）
- rs1
- 内网：133.132，设置网关为133.130
- rs2
- 内网：133.133，设置网关为133.130
- 三台机器上都执行执行
- systemctl stop firewalld; systemc disable firewalld
- systemctl start iptables-services; iptables -F; service iptables save
- 三台机器
- 分发器，也叫调度器（简写为dir）
- 内网：5.130，外网：81.144（vmware仅主机模式）
- rs1
- 内网：5.133，设置网关为5.130
- rs2
- 内网：5.134，设置网关为5.130
- 三台机器上都执行执行
- systemctl stop firewalld; systemc disable firewalld
- systemctl start iptables-services; iptables -F; service iptables save
安装iptables-services 每台机器上都安装
[root@xuexi-003 ~]# yum install -y iptables-services [root@xuexi-003 ~]# systemctl start iptables [root@xuexi-003 ~]# systemctl enable iptables Created symlink from /etc/systemd/system/basic.target.wants/iptables.service to /usr/lib/systemd/system/iptables.service. [root@xuexi-003 ~]# iptables -F [root@xuexi-003 ~]# service iptables save iptables: Saving firewall rules to /etc/sysconfig/iptables: [ 肯定 ]
#为何要开启iptables 服务，是由于要调用一个空规则，随后须要配置一个新的规则出来，默认的规则可能影响到实验效果。
而后还须要关闭selinux 全部的机器都须要更改
[root@xuexi-003 ~]# getenforce Disabled [root@xuexi-003 ~]# setenforce 0 setenforce: SELinux is disabled [root@xuexi-003 ~]# vi /etc/selinux/config 更改配置文件关闭selinux
一、安装ipvsadm
[root@xuexi-001 ~]# yum install -y ipvsadm
二、在dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh //内容以下
配置文件内容 #! /bin/bash # director 服务器上开启路由转发功能，不开启的话没有办法把数据传输到后面的rs上面 echo 1 > /proc/sys/net/ipv4/ip_forward # 关闭icmp的重定向 echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects # 注意区分网卡名字，两个网卡分别为ens33和ens37 echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects # director 设置nat防火墙 iptables -t nat -F #清空iptables 规则 iptables -t nat -X #清空链 iptables -t nat -A POSTROUTING -s 192.168.5.0/24 -j MASQUERADE #能够实现同网段的内网上网 # director设置ipvsadm IPVSADM='/usr/sbin/ipvsadm' $IPVSADM -C #清空规则 $IPVSADM -A -t 192.168.81.144:80 -s wlc -p 3 #设置一个规则 指定使用的什么规则（大规则） $IPVSADM -a -t 192.168.81.144:80 -r 192.168.5.133:80 -m -w 1 $IPVSADM -a -t 192.168.81.144:80 -r 192.168.5.134:80 -m -w 1 #具体的规则（小规则）
三、没有输出内容，说明配置没有问题
[root@xuexi-001 ~]# sh /usr/local/sbin/lvs_nat.sh [root@xuexi-001 ~]#
四、
- 两台rs上都安装nginx
#rs1 [root@xuexi-002 ~]# systemctl start nginx [root@xuexi-002 ~]# netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 547/rpcbind tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 1204/nginx: master tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 802/sshd tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1047/master tcp6 0 0 :::111 :::* LISTEN 547/rpcbind tcp6 0 0 :::80 :::* LISTEN 1204/nginx: master tcp6 0 0 :::22 :::* LISTEN 802/sshd tcp6 0 0 ::1:25 :::* LISTEN 1047/master tcp6 0 0 :::3306 :::* LISTEN 1045/mysqld
#rs2 [root@xuexi-003 ~]# systemctl start nginx [root@xuexi-003 ~]# ps aux |grep nginx root 1200 0.0 0.2 120752 2088 ? Ss 23:39 0:00 nginx: master process /usr/sbin/nginx nginx 1201 0.0 0.3 121136 3116 ? S 23:39 0:00 nginx: worker process root 1204 0.0 0.0 112676 980 pts/0 R+ 23:39 0:00 grep --color=auto nginx [root@xuexi-003 ~]# netstat -lntp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 519/rpcbind tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 1200/nginx: master tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 809/sshd tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1057/master tcp6 0 0 :::111 :::* LISTEN 519/rpcbind tcp6 0 0 :::80 :::* LISTEN 1200/nginx: master tcp6 0 0 :::22 :::* LISTEN 809/sshd tcp6 0 0 ::1:25 :::* LISTEN 1057/master tcp6 0 0 :::3306 :::* LISTEN 1015/mysqld
- 设置两台rs的主页，作一个区分，也就是说直接curl两台rs的ip时，获得不一样的结果
#rs1 [root@xuexi-002 ~]# curl localhost backup.backup [root@xuexi-002 ~]# vi /usr/share/nginx/html/index.html xuexi-002 192.168.5.133
#rs2 [root@xuexi-003 ~]# curl localhost backup.backup [root@xuexi-003 ~]# vi /usr/share/nginx/html/index.html xuexi-003 192.168.5.134
- 浏览器里访问192.168.81.144，多访问几回看结果差别
能够在dir上更改一下规则，编辑配置文件vim /usr/local/sbin/lvs_nat.sh 将$IPVSADM -A -t 192.168.81.144:80 -s wlc -p 3 后面的-p 3 去掉
查看ipvsadm 设置的规则
[root@xuexi-001 ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.81.144:80 wlc -> 192.168.5.133:80 Masq 1 2 0 -> 192.168.5.134:80 Masq 1 0 4
测试
[root@xuexi-001 ~]# curl 192.168.81.144 xuexi-003 192.168.5.134 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-003 192.168.5.134 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-002 192.168.5.133 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-003 192.168.5.134 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-002 192.168.5.133 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-003 192.168.5.134 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-002 192.168.5.133 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-003 192.168.5.134 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-002 192.168.5.133 [root@xuexi-001 ~]# curl 192.168.81.144 xuexi-003 192.168.5.134
测试结果
Keepalived+LVS DR
- 完整架构须要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived自己也有负载均衡的功能，因此本次实验能够只安装一台keepalived
- keepalived内置了ipvsadm的功能，因此不须要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
- 三台机器分别为：
- dir（安装keepalived）133.130
- rs1 133.132
- rs2 133.133
- vip 133.200
- 编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf//内容地址
- 须要更改里面的ip信息
- 执行ipvsadm -C 把以前的ipvsadm规则清空掉
- systemctl restart network 能够把以前的vip清空掉
- 两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本
- keepalived有一个比较好的功能，能够在一台rs宕机时，再也不把请求转发过去
- 测试
一、由于以前作了NAT模式的如今须要作DR模式，须要将以前的rs1,rs2上面的网关更改回来
- rs1 192.168.5.2
- rs2 192.168.5.2
二、dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容以下
(dir)分发器上的配置
[root@xuexi-001 ~]# vi /usr/local/sbin/lvs_dr.sh #! /bin/bash echo 1 > /proc/sys/net/ipv4/ip_forward ipv=/usr/sbin/ipvsadm vip=192.168.5.200 rs1=192.168.5.133 rs2=192.168.5.134 ifdown ens33 ifup ens33 #注意这里的网卡名字 ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip dev ens33:2 $ipv -C $ipv -A -t $vip:80 -s wrr $ipv -a -t $vip:80 -r $rs1:80 -g -w 1 $ipv -a -t $vip:80 -r $rs2:80 -g -w 1 [root@xuexi-001 ~]# sh /usr/local/sbin/lvs_dr.sh 成功断开设备 'ens33'。 链接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/3）
rs1
[root@xuexi-002 ~]# vi /usr/local/sbin/lvs_rs.sh #/bin/bash vip=192.168.5.200 #把vip绑定在lo上，是为了实现rs直接把结果返回给客户端 ifdown lo ifup lo ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #如下操做为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端 #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
rs2
[root@xuexi-003 ~]# vi /usr/local/sbin/lvs_rs.sh #/bin/bash vip=192.168.5.200 #把vip绑定在lo上，是为了实现rs直接把结果返回给客户端 ifdown lo ifup lo ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #如下操做为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端 #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
Keepalived+LVS DR
- 完整架构须要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived自己也有负载均衡的功能，因此本次实验能够只安装一台keepalived
- 为何须要把keepalived 加到lvs 中的目的是什么？
- 缘由一：lvs，它有个关键角色，就是dir分发器，若是分发器宕掉，那全部的访问就会被终止，由于全部的入口全都在dir分发器上，因此须要把分发器作一个高可用，用keepalived实现高可用，而且keepalived还有负载均衡的做用。
- 缘由二：在使用lvs的时候，若是没有额外的操做，这时将一个rs机器关机（宕机）时，lvs照样会分发数据到这台宕机机器，这是就会出现访问无效的状况，说明lvs并不聪明；这时使用keepalived，就能够保证集群中其中一台rs宕机了，web还能正常提供，不会出现用户访问时无效连接的结果；通常这种架构，确定是2台keepalived；
- 由于keepalived内置了ipvsadm的功能，因此再也不须要安装ipvsadm的包，也不用再编写和执行.sh脚本
准备工做
1.准备三台机器，分别为
- dir（安装keepalived）5.130
- rs1 5.133
- rs2 5.134
- vip 5.200
2.在dir分发器（A机器）上，清空ipvsadm规则，并查看ipvsadm规则，会发现已经清空
[root@xuexi-001 ~]# ipvsadm -C [root@xuexi-001 ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
3.在分发器（即A机器）上编辑配置文件，在/etc/keepalived/keepalived.conf 配置，配置文件内容
- 由于以前作实验里面编辑过配置文件，这时直接删除，而后粘贴新的配置文件
- 修改配置文件中的网卡、vip ，还有rs机器上的IP
[root@xuexi-001 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
#备用服务器上为 BACKUP
state MASTER
#绑定vip的网卡为ens33，你的网卡和阿铭的可能不同，这里须要你改一下
interface ens33
virtual_router_id 51
#备用服务器上为90
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux
}
virtual_ipaddress {
192.168.5.200
}
}
virtual_server 192.168.5.200 80 {
#(每隔10秒查询realserver状态)
delay_loop 10
#(lvs 算法)
lb_algo wlc
#(DR模式)
lb_kind DR
#(同一IP的链接60秒内被分配到同一台realserver)
persistence_timeout 60
#(用TCP协议检查realserver状态)
protocol TCP
real_server 192.168.5.133 80 {
#(权重)
weight 100
TCP_CHECK {
#(10秒无响应超时)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.5.134 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
:wq
4.启动keepalived服务，查看keepalived服务
[root@xuexi-001 ~]# systemctl start keepalived [root@xuexi-001 ~]# ps aux |grep keepalived root 1678 0.0 0.0 118652 1396 ? Ss 07:44 0:00 /usr/sbin/keepalived -D root 1679 0.0 0.1 127520 3332 ? S 07:44 0:00 /usr/sbin/keepalived -D root 1680 0.0 0.1 127388 2616 ? S 07:44 0:00 /usr/sbin/keepalived -D root 1685 0.0 0.0 112720 976 pts/0 S+ 07:44 0:00 grep --color=auto keepalived
5.查看IP，会看到虚拟IP依然存在
[root@xuexi-001 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:bf brd ff:ff:ff:ff:ff:ff
inet 192.168.5.130/24 brd 192.168.5.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.200/32 brd 192.168.5.200 scope global ens33:2
# 虚拟IP 依旧存在
valid_lft forever preferred_lft forever
inet 192.168.5.150/24 brd 192.168.5.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::9625:3e1d:12c7:4fe6/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:c9 brd ff:ff:ff:ff:ff:ff
inet 192.168.81.144/24 brd 192.168.81.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::44c4:9bed:dd1f:6c01/64 scope link
valid_lft forever preferred_lft forever
6.查看ipvsadm规则
[root@xuexi-001 ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.5.200:80 wlc
7.这时关闭keepalived服务，再来查看ip，会看到虚拟IP停掉了
[root@xuexi-001 ~]# systemctl stop keepalived
[root@xuexi-001 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:bf brd ff:ff:ff:ff:ff:ff
inet 192.168.5.130/24 brd 192.168.5.255 scope global ens33
valid_lft forever preferred_lft forever
inet 192.168.5.150/24 brd 192.168.5.255 scope global secondary ens33:0
valid_lft forever preferred_lft forever
inet6 fe80::9625:3e1d:12c7:4fe6/64 scope link
valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:b3:a2:c9 brd ff:ff:ff:ff:ff:ff
inet 192.168.81.144/24 brd 192.168.81.255 scope global ens37
valid_lft forever preferred_lft forever
inet6 fe80::44c4:9bed:dd1f:6c01/64 scope link
valid_lft forever preferred_lft forever
8.再来查看规则，会发现没有启动规则
[root@xuexi-001 ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
9.这时启动keepalived，再来查看规则
[root@xuexi-001 ~]# ipvsadm -ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.5.200:80 wlc -> 192.168.5.133:80 Route 100 2 0 -> 192.168.5.134:80 Route 100 1 1
10.注意事项：两点
- 1.打开dir机器的端口转发
echo 1 > /proc/sys/net/ipv4/ip_forward //打开端口转发
- 2.在rs机器上建立的/usr/local/sbin/lvs_rs.sh脚本，依然要执行它
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端 ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up route add -host $vip lo:0 #如下操做为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
总结
- keepalived 有一个比较好的功能，能够在一台rs宕机的时候，及时把他踢出 ipvsadm 集群，将再也不发送数据包给，也就很好的避免的访问无链接的状况发送
相关文章
- 1. [18] Linux集群架构
- 2. 第十七章 Linux集群架构（一）
- 3. 第十八章、Linux集群架构（上）
- 4. 第十八章 Linux集群架构(上)
- 5. 第十八章、Linux集群架构（下）
- 6. 第十八章 Linux集群架构
- 7. 第十八章 Linux集群架构(下)
- 8. 第十七章 Linux集群架构（二）
- 9. Linux集群架构
- 10. Linux 集群架构
- 更多相关文章...
- • Swarm 集群管理 - Docker教程
- • Docker 架构 - Docker教程
- • ☆技术问答集锦（13）Java Instrument原理
- • 三篇文章了解 TiDB 技术内幕 —— 谈调度
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
欢迎关注本站公众号,获取更多信息
相关文章
- 1. [18] Linux集群架构
- 2. 第十七章 Linux集群架构（一）
- 3. 第十八章、Linux集群架构（上）
- 4. 第十八章 Linux集群架构(上)
- 5. 第十八章、Linux集群架构（下）
- 6. 第十八章 Linux集群架构
- 7. 第十八章 Linux集群架构(下)
- 8. 第十七章 Linux集群架构（二）
- 9. Linux集群架构
- 10. Linux 集群架构