Linux集群服务 LVS

时间 2019-11-24

标签 linux 集群服务 lvs 栏目 Linux 繁體版

原文原文链接

linux虚拟服务器（LVS）项目在linux操做系统上提供了最多见的负载均衡软件。html

集群定义：前端

集群(cluster)技术是一种较新的技术,经过集群技术，能够在付出较低成本的状况下得到在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中linux

的核心技术。本文就集群系统的定义、发展趋势、任务调度等问题进行了简要论述。集群是一组相互独立的、经过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互做用时，集群像是一个独立的服务器。集群配置是用于提升可用性和可缩放性。nginx

集群系统的主要优势：(高可扩展性、高可用性、高性能、高性价比)算法

目前运行在LINUX最主流的三种集群：vim

负载集群之一：LB（Load Balancing）后端

负载均衡集群运行时，通常经过一个或者多个前端负载均衡器(Director Server)，将用户发来的请求资源信息，经过一种调度算法发送至到后端的一组应用服务器(Real Server)上，从而达到整个系统的高性能和高可用性。这样的计算机集群有时也被称为服务器群(Server Farm)浏览器

通常高可用性集群和负载均衡集群会使用相似的技术，或同时具备高可用性与负载均衡的特色。缓存

负载集群之二：HA(High-Availability)安全

通常是指当集群中有某个节点失效的状况下，其上的任务会自动转移到其余正常的节点上。而且还能够将集群中的某节点进行离线维护再上线，该过程并不影响

整个集群的运行。

高可用集群：为了保证服务一直在线的高可用能力的集群

衡量标准：可用性=在线时间/(在线时间+故障处理时间)

负载集群之三：HP

高性能计算集群采用将计算任务分配到集群的不一样计算节点从而提升计算能力，于是主要应用在科学计算领域。比较流行的HPC采用Linux操做系统和其它一些免费软

件来完成并行运算。这一集群配置一般被称为Beowulf集群。这类集群一般运行特定的程序以发挥HPC cluster的并行能力。这类程序通常应用特定的运行库, 好比专为科学计算设计的MPI库。

HPC集群特别适合于在计算中各计算节点之间发生大量数据通信的计算做业，好比一个节点的中间结果或影响到其它节点计算结果的状况。

高性能处理集群：

利用的是分布式存储：分布式文件系统，分布式文件系统把一个大任务切割为小任务、分别进行处理

LVS系统结构：

负载均衡器(Load Balancer)、服务器群组(Server Aarry)、共享存储(Shared Storage)

负载均衡层：

整个集群服务最前端设备，它有一个或多个调度器(Director Server)组成，LVS软件运行在调度服务器上。

调度服务器的功能：

将用户的请求，根据调度算法进行IP分流，将数据包发送到后端应用服务器上(Real Server)，若是调度服务器安装了

监控模块Ldirectord，那么调度服务器会将出现故障的应用服务器标记为不可用，知道此应用服务器恢复正常。

服务器群组层：

这是由一个或者多个应用程序服务器(Real Server)组成，而且每一个应用服务器提供相同的服务，调度服务器会将用户的请求定向到具体的应用服务器上，而后由后端的应用服务器响应客户端。

共享存储层：

功能只要是保证服务器群组中的应用服务器提供数据的一致性。

共享存储的实现方式：

磁盘阵列、集群文件系统(OCFS2)

LVS是linux系统上的一种机制，相似于iptables，其相关属性也是经过(ipvsadm)与iptables命令相似的方式定义的,

LVS是工做于linux系统内核空间，经过内核来提供工做，其工做空间在iptables的INPUT链上，当客户端请求到达INPUT链上之后，经过LVS规则的验证，若是是内��请求，发送至用户空间，若是发现是集群，将此请求发送至POSTROUTING链，并交给后端应用程序服务器来响应用户的请求。

注意：上面所提到LVS实际上是工做在iptables的INPUT和postrouting链上的，因此在此系统上iptables和LVS不能同时存在。

LVS的组成：

ipvsadm：用于管理集群服务的命令行工具，工做于Linux系统中的用户空间

ipvs：为lvs提供服务的内核模块，工做于内核空间 (相对因而框架，经过ipvsadm添加规则，来实现ipvs功能)

注：在linux内核2.4.23以前的内核中模块默认是不存在的，须要本身手动打补丁，而后把此模块编译进内核才可使用此功能

LVS类型：

LVS-NAT模式、LVS-DR模式、LVS-TUN模式

NAT：(Network address translation)

原理：把用户的请求发来的IP包的IP报头目的地址，经过LVS服务器转换至后端提供服务的Real Server的地址并将用户的请求报文发送至应用服务器。而应用服务器打开报文并响应用户请求发送并通过LVS服务器，LVS服务器将源地址修改成LVS服务器接口上的VIP地址。

NAT模式特色：

 
        用户发来的请求和响应，都必须通过LVS服务器。 
       
        集群节点跟Director必须在同一个IP网络中； 
       
        RIP一般是私有地址，仅用于各集群节点间的通讯； 
       
        Director位于Client和Real Server之间，并负责处理进出的全部通讯； 
       
        Realserver必须将网关指向DIP地址； 
       
        支持端口映射； 
       
        Realserver可使用任意OS； 
       
        LVS服务器必须有两块网卡 
       
        较大规模应该场景中，Director易成为系统瓶颈；

DR:(Direct routing)

DR模式工做在数据链路层，其原理，LVS服务器和应用服务器使用同一个IP地址对外服务，但只有LVS服务器对ARP请求进行响应，全部应用服务器对自己这个IP地址的ARP请求保持静默。网关会把全部的ARP请求定向至LVS服务器，而LVS服务器收到用户请求数据报文，根据调度算法进行IP分流，而后相应的MAC地址的修改，发送至后端对应的应用服务器。

注：因为LVS服务器对二层数据包进行修改，因此LVS服务器和应用服务器必须在同一个广播域。

DR模式特色：

 
        集群节点跟director必须在同一个物理网络中； 
       
        RIP可使用公网地址，实现便捷的远程管理和监控； 
       
        Director仅负责处理入站请求，响应报文则由Real Server直接发往客户端； 
       
        Real Server不能将网关指向DIP； 
       
        不支持端口映射；

注：在DR模式中，LVS服务器只负责接收用户请求，根据调度算法及IP分流，直接路由转发，其响应报文交给Real Server自行处理。

DR模式是三种模式当中性能最好的，惟一的缺陷是LVS服务器和后端的应用服务器必须在同一个广播域中，所以不能实现集群的跨网端应用。

TUN (IP Tunnel模式)

TUN模式，LVS将TCP/IP请求进行从新封装并转发给目标应用服务器，有目标应用程序服务器对用户请求作出相应。LVS Router和Real Server经过Tp Tunnel经过隧道技术

进行转发，所以二者能够存在不一样的网络当中。

注：因为应用服务器须要对LVS发送的报文进行还原，也就是说应用服务器也要支持Ip Tunnel协议。(Network options)

TUN模式特色：

 
        集群节点能够跨越Internet； 
       
        RIP必须是公网地址； 
       
        Director仅负责处理入站请求，响应报文则由Real Server直接发往客户端； 
       
        Real Server网关不能指向director； 
       
        只有支持隧道功能的OS才能用于Real Server； 
       
        不支持端口映射；

LVS负载均衡八种调度算法：

rr-->wrr-->lc-->wlc-->lblc-->lblcr-->dh-->sh

轮叫(Round Robin):

该算法将用户请求有次序地分发到后端的应用服务器，均等看待全部Real Server，而并不计算具体服务器上的连接和负载。

加权轮叫(Weighted Round Robin):

该调度算法根据各个应用服务器的不一样负载能力，给服务器设置不一样的权值，处理能力强的应用服务器的权值设置大点，来响应更多的用户请求。

最少链接(Least Connections)：

该算法将用户发送的请求分配到链接作少的应用服务器上。

加权最少链接(Weighted Least Connections):

该算法根据应用服务器的不一样负载能力，设置不一样大小不一样的权值，权值较大而且链接请求数少的应用服务器则优先分配用户请求信息。

基于局部性最少链接：(Locality-Based Least Connections):

该算法针对目标IP地址的负载均衡算法，主要用于缓存集群系统。此算法会根据用户请求的目标IP地址找出与目标地址最近的应用服务器，若是服务器没有超载，则请求被分发到该应用服务器，若是服务器不可用或者负载较大，则使用最少链接算法，选择目标应用服务器

带复制的基于局部性最少链接(Locality-Based Least Connections wiht Replication)

该算法也是针对目标IP地址的负载均衡算法，主要用于缓存集群系统。域LBLC区别在于，前者维护一个IP地址到一组服务器的映射。然后者则是维护一个IP地址到一台应用服务器的映射。

目标地址散列(Destination Hashing)

该算法将用户请求的目标地址做为散列键，并尝试从静态分配的散列表中找出对应的应用服务器。若是目标应用服务器没有超载，那么将用户的请求信息分发至该应用服务里，不然返回空。

源地址散列(Source Hashing)

该算法将请求的源地址做为散列键，并尝试从静态分配的散列表中找出对应的应用服务器。若是目标应用服务器可用而且没有超载，那么将用户请求的信息分发至此应用服务器，不然返回空。

LVS IP Address Name Conventions：(LVS Ip-address 命名规范)

 
        Director's IP (DIP) address ：中间层，根据不一样模式，来接收并响应用户的请求。 
       
        Virtual IP (VIP) address：向外提供服务的地址。 
       
        Real IP (RIP) address ：Real Server IP：后端提供应用服务的主机地址。 
       
        Director's IP (DIP) address ：和内部的IP通讯所使用的地址：设置在Director Server上 
       
        Client computer's IP (CIP) address:客户端地址

ipvsadm命令详细介绍：

pvsadm: 管理集群服务的命令行工具，而ipvs系统内核中的一个模块

ipvsadm命令的基本使用：

 
        -A：在内核的虚拟服务器列表中添加一条VIP记录 
       
        -E：修改内核虚拟服务器列表中的一条VIP记录 
       
        -D：删除内核虚拟服务器列表中的一条VIP记录 
       
        -C：清空内核虚拟服务器列表中的全部VIP记录 
       
        -S：保存虚拟服务器规则 
       
        -R：恢复虚拟服务器策略规则 
       
        -a：在内核虚拟服务器列表中添加一个应用服务器的地址。 
       
        -e：修改一个虚拟服务器列表中的一条应用服务器地址记录 
       
        -d：删除一个虚拟服务器列表中的一条应用服务器地址记录 
       
        -L/-l: 查看内核虚拟服务器列表 
       
        -Z：将内核中的虚拟服务器计数清为 
        0 
       
        -t service-address：指定虚拟服务器使用TCP服务 
       
        -u service-address：指定虚拟服务器使用UDP服务 
       
        -s scheduler：指定调度算法： 
       
        -p timeout：在应用服务器上的持续服务时间，单位为秒 
       
        -r service-address：指定应用服务器的地址 
       
        -g：指定LVS工做模式为直接路由(DR-defalut) 
       
        -I：指定LVS工做模式为隧道模式(Ip Tunnel) 
       
        -m：指定LVS工做模式为地址转换模式(NAT) 
       
        -w：设定应用服务器的权值

经常使用的负载均衡开源软件有： nginx、lvs、keepalived
商业的硬件负载设备： F五、Netscale
一、 LB、LVS介绍
LB集群是load balance 集群的简写，翻译成中文就是负载均衡集群；
LVS是一个实现负载均衡集群的开源软件项目；
LVS架构从逻辑上可分为调度层(Director)、server集群层(Real server)和共享存储层；

LVS可分为三种工做模式:
NAT(调度器将请求的目标ip即vip地址改成Real server的ip, 返回的数据包也通过调度器，调度器再把源地址修改成vip)
TUN(调度器将请求来的数据包封装加密经过ip隧道转发到后端的real server上，而real server会直接把数据返回给客户端，而再也不通过调度器)
DR(调度器将请求来的数据包的目标mac地址改成real server的mac地址，返回的时候也不通过调度器，直接返回给客户端)
spacer.gif

LVS的调度算法：轮叫调度(Round Robin)(简称rr) ,加权轮叫(Weighted Round Robin)(简称wrr),最少连接(least connection)(LC),加权最少连接(Weighted Least Connections)(WLC) 等等；

二、LVS/NAT 配置
准备工做：
须要准备三台机器干净的CentOS6.6系统，Director机器须要安装两块网卡；
三台服务器一台做为director, 两台做为real server

Director 有一个外网ip：192.168.22.11 和一个内网ip：192.168.11.11
两台Real Server 只有内网ip为：192.168.11.100 和 192.168.11.101，而且须要设置内网网关为director的内网ip：192.168.11.11
DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.11.100
GATEWAY=192.168.11.11更改完网关后须要重启网卡，先down后up，在一条命令实现；若是ifdown以后，ssh会中断；

# ifdown eth1 && ifup eth1
Director上安装ipvsadm：#yum install -y ipvsadm

两台real server安装nginx，须要先安装epel扩展源。
yum install -y epel-release
yum install -y nginx
安装完成后启动nginx：/etc/init.d/nginx start
更改三台服务器的hostname为 dr、rs一、rs2

Direcotr 上 vi /usr/local/sbin/lvs_nat.sh //增长以下内容：
#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.11.0/24 -j MASQUERADE

IPVSADM='/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.22.11:80 -s wlc
$IPVSADM -a -t 192.168.22.11:80 -r 192.168.11.100:80 -m -w 2
$IPVSADM -a -t 192.168.22.11:80 -r 192.168.11.101:80 -m -w 1直接运行这个脚本就能够完成lvs/nat的配置了:

/bin/bash /usr/local/sbin/lvs_nat.sh

dr查看nat的iptables
[root@dr ~]# iptables -t nat -nvL
Chain POSTROUTING (policy ACCEPT 1 packets, 124 bytes)
pkts bytes target prot opt in out source destination
0 0 MASQUERADE all -- * * 192.168.11.0/24 0.0.0.0/0
ipvsadm -ln 查看ipvsadm的规则

浏览器打开192.168.11.100、192.168.11.101显示nginx的欢迎页面

在rs一、rs2上面修改html文件，用来区分；
[root@rs1 ~]# cat /usr/share/nginx/html/index.html
rs1rs1rs1
[root@rs2 ~]# cat /usr/share/nginx/html/index.html
rs2rs2rs2经过浏览器测试两台机器上的内容
浏览器打开 192.168.22.11，会显示rs1或rs2的html内容；来回切换说明试验OK；

更改轮询规则为wlc，权重为2，进行测试

用另外一台linux机器curl测试，出现2次1，1次2，来回切换说明OK；
[root@localhost ~]# curl 192.168.22.11
rs1rs1rs1
[root@localhost ~]# curl 192.168.22.11
rs1rs1rs1
[root@localhost ~]# curl 192.168.22.11
rs2rs2rs2在dr机器上ipvsadm -ln能够查看，权重比，保持的连接比大概同样；
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.22.11:80 wlc
-> 192.168.11.100:80 Masq 2 0 26
-> 192.168.11.101:80 Masq 1 0 13

三、LVS/DR 配置
DR模式中，director只负责分发，只有进入的流量，吞吐量会很是大；real server直接给用户提供数据，安全性会下降；
DR中的机器都须要配置公网ip，虚拟的ip每台机器都须要配置，用户请求的时候请求虚拟ip，返回的时候为轮询rs提供；
三台机器，每台机器只须要配置1个ip，vip是用脚本执行后会出现的，不用手动设置；
director（eth1:192.168.11.11 vip eth1:0 192.168.11.110）
real server1（eth1:192.168.11.100 vip lo:0: 192.168.11.110）
real server1（eth1:192.168.11.101 vip lo:0: 192.168.11.110）

Director 上 vim /usr/local/sbin/lvs_dr.sh //增长下面的内容
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.11.110
rs1=192.168.11.100
rs2=192.168.11.101
ifconfig eth1:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth1:0
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

两台rs上：vim /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.11.110
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

而后director上执行: bash /usr/local/sbin/lvs_dr.sh
两台rs上执行: bash /usr/local/sbin/lvs_dr_rs.sh

执行完成后ifconfig能够显示虚拟ip地址；dr显示eth1:0，rs一、rs2显示lo:0；
eth1:0 Link encap:Ethernet HWaddr 00:0C:29:70:4E:58
inet addr:192.168.11.110 Bcast:192.168.11.110 Mask:255.255.255.255
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:18 Base address:0x2080

lo:0 Link encap:Local Loopback
inet addr:192.168.11.110 Mask:255.255.255.255
UP LOOPBACK RUNNING MTU:65536 Metric:1ipvsadm -ln 列出规则
[root@dr ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.11.110:80 rr
-> 192.168.11.100:80 Route 1 0 3
-> 192.168.11.101:80 Route 1 0 3单独启动一台linux机器进行测试，浏览器测试有缓存不明显；
curl 192.168.11.110 进行测试，各出现1次说明rr轮询规则OK；
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2rs2
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs2rs2rs2更改轮询算法为wrr，权重为2；而后执行文件，报错提示文件已存在；缘由是/usr/local/sbin/lvs_dr.sh脚本文件里面已经up了eth1:0，因此须要在脚本里面增长：ifconfig eth1:0 down，以后就不会报错；
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 2
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1[root@dr ~]# bash /usr/local/sbin/lvs_dr.sh
SIOCADDRT: 文件已存在其中一台rs若是挂了以后，仍是会轮询访问，因此会出现一会能打开一会打不开；
模拟，rs2中止nginx：/etc/init.d/nginx stop
使用curl测试，请求仍是会发送到rs2上面，可是已经提示不能链接到主机；
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
rs1rs1rs1
[root@localhost ~]# curl 192.168.11.110
curl: (7) couldn't connect to hostlvs自己不会剔除已经死掉的real server，因此须要结合keeplived；

LVS/DR + Keepalived搭建负载均衡集群 http://www.linuxidc.com/Linux/2015-06/118647.htm

LVS+Keepalived实现四层负载及高可用 http://www.linuxidc.com/Linux/2015-02/112695.htm

LVS+Keepalived高可用负载均衡集群架构实验 http://www.linuxidc.com/Linux/2015-01/112560.htm

Heartbeat+LVS构建高可用负载均衡集群 http://www.linuxidc.com/Linux/2014-09/106964.htm

搭建LVS负载均衡测试环境 http://www.linuxidc.com/Linux/2014-09/106636.htm

一个针对LVS的压力测试报告 http://www.linuxidc.com/Linux/2015-03/114422.htm