末学者笔记--LVS负载均衡

时间 2019-11-24

原文原文链接

Lvs负载均衡

1、负载均衡LVS基本介绍

LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。这是一个由章文嵩博士发起的一个开源项目，它的官方网站是http://www.linuxvirtualserver.org如今 LVS 已是 Linux 内核标准的一部分。使用 LVS 能够达到的技术目标是：经过 LVS 达到的负载均衡技术和 Linux 操做系统实现一个高性能高可用的 Linux 服务器集群，它具备良好的可靠性、可扩展性和可操做性。从而以低廉的成本实现最优的性能。LVS 是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存储。前端

Lvs特色：
一、抗负载能力强。抗负载能力强、性能高，能达到F5硬件的60%；对内存和cpu资源消耗比较低
二、工做在网络4层，经过vrrp协议转发（仅做分发之用），具体的流量由linux内核处理，所以没有流量的产生。
二、稳定性、可靠性好，自身有完美的热备方案；（如：LVS+Keepalived）
三、应用范围比较广，能够对全部应用作负载均衡；
四、不支持正则处理，不能作动静分离。
五、支持负载均衡算法：rr（轮循）、wrr（带权轮循）、lc（最小链接）、wlc（权重最小链接）
六、配置复杂，对网络依赖比较大，稳定性很高。linux

Ngnix：
一、工做在网络的7层之上，能够针对http应用作一些分流的策略，好比针对域名、目录结构；
二、Nginx对网络的依赖比较小，理论上能ping通就就能进行负载功能；
三、Nginx安装和配置比较简单，测试起来比较方便；
四、也能够承担高的负载压力且稳定，通常能支撑超过1万次的并发；
五、对后端服务器的健康检查，只支持经过端口来检测，不支持经过url来检测。
六、Nginx对请求的异步处理能够帮助节点服务器减轻负载；
七、Nginx仅能支持http、https和Email协议，这样就在适用范围较小。
八、不支持Session的直接保持，但能经过ip_hash来解决。、对Big request header的支持不是很好，
九、支持负载均衡算法：Round-robin（轮循）、Weight-round-robin（带权轮循）、Ip-hash（Ip哈希）
十、Nginx还能作Web服务器即Cache功能。nginx

HAProxy的特色是：
一、支持两种代理模式：TCP（四层）和HTTP（七层），支持虚拟主机；
二、可以补充Nginx的一些缺点好比Session的保持，Cookie的引导等工做
三、支持url检测后端的服务器出问题的检测会有很好的帮助。
四、更多的负载均衡策略好比：动态加权轮循(Dynamic Round Robin)，加权源地址哈希(Weighted Source Hash)，加权URL哈希和加权参数哈希(Weighted Parameter Hash)已经实现
五、单纯从效率上来说HAProxy更会比Nginx有更出色的负载均衡速度。
六、HAProxy能够对Mysql进行负载均衡，对后端的DB节点进行检测和负载均衡。
九、支持负载均衡算法：Round-robin（轮循）、Weight-round-robin（带权轮循）、source（原地址保持）、RI（请求URL）、rdp-cookie（根据cookie）
十、不能作Web服务器即Cache。算法

2、LVS的组成

LVS 由2部分程序组成，包括 ipvs 和 ipvsadm。sql

1. ipvs(ip virtual server)：一段代码工做在内核空间，叫ipvs，是真正生效实现调度的代码。
2. ipvsadm：另一段是工做在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)vim

3、lvs的三种模式

VS/DR模式

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。后端

②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将目标MAC改成了RIP的MAC地址，并将此包发送给RS。服务器

③.RS发现请求报文中的目的MAC是本身，就会将次报文接收下来，处理完请求报文后，将响应报文经过lo接口送给eth0网卡直接发送给客户端。cookie

【注意：】网络

须要设置lo接口的VIP不能响应本地网络内的arp请求。

优势：

和TUN（隧道模式）同样，负载均衡器也只是分发请求，应答包经过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不须要隧道结构，所以可使用大多数操做系统作为物理服务器。

DR模式的效率很高，可是配置稍微复杂一点，所以对于访问量不是特别大的公司能够用haproxy/nginx取代。日1000-2000W PV或者并发请求1万一下均可以考虑用haproxy/nginx。

缺点：

全部 RS 节点和调度器 LB 只能在一个局域网里面。

VS/TUN模式

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改成DIP，目标地址改成RIP,并将此包发送给RS。

③.RS收到请求报文后，会首先拆开第一层封装,而后发现里面还有一层IP首部的目标地址是本身lo接口上的VIP，因此会处理次请求报文，并将响应报文经过lo接口送给eth0网卡直接发送给客户端。

注意：

须要设置lo接口的VIP不能在公网上出现。

优势：

负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。因此，减小了负载均衡器的大量数据流动，负载均衡器再也不是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器可以为不少RS进行分发。并且跑在公网上就能进行不一样地域的分发。

缺点：

隧道模式的RS节点须要合法IP，这种方式须要全部的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。

VS/NAT模式

①.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP(客户端IP),后面统称为CIP)，目标地址为VIP(负载均衡器前端地址，后面统称为VIP)。

②.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将客户端请求报文的目标地址改成了后端服务器的RIP地址并将报文根据算法发送出去。

③.报文送到Real Server后，因为报文的目标地址是本身，因此会响应该请求，并将响应报文返还给LVS。

④.而后lvs将此报文的源地址修改成本机并发送给客户端。

【注意】：

在NAT模式中，Real Server的网关必须指向LVS，不然报文没法送达客户端

优势：

集群中的物理服务器可使用任何支持TCP/IP操做系统，只有负载均衡器须要一个合法的IP地址。

缺点：

扩展性有限。当服务器节点（普通PC服务器）增加过多时,负载均衡器将成为整个系统的瓶颈，由于全部的请求包和应答包的流向都通过负载均衡器。当服务器节点过多时，大量的数据包都交汇在负载均衡器那，速度就会变慢！

四、LVS的八种调度算法

1. 轮叫调度 rr
这种算法是最简单的，就是按依次循环的方式将请求调度到不一样的服务器上，该算法最大的特色就是简单。轮询算法假设全部的服务器处理请求的能力都是同样的，调度器会将全部的请求平均分配给每一个真实服务器，无论后端 RS 配置和处理能力，很是均衡地分发下去。

2. 加权轮叫 wrr
这种算法比 rr 的算法多了一个权重的概念，能够给 RS 设置权重，权重越高，那么分发的请求数越多，权重的取值范围 0 – 100。主要是对rr算法的一种优化和补充， LVS 会考虑每台服务器的性能，并给每台服务器添加要给权值，若是服务器A的权值为1，服务器B的权值为2，则调度到服务器B的请求会是服务器A的2倍。权值越高的服务器，处理的请求越多。

3. 最少连接 lc
这个算法会根据后端 RS 的链接数来决定把请求分发给谁，好比 RS1 链接数比 RS2 链接数少，那么请求就优先发给 RS1

4. 加权最少连接 wlc
这个算法比 lc 多了一个权重的概念。

5. 基于局部性的最少链接调度算法 lblc
这个算法是请求数据包的目标 IP 地址的一种调度算法，该算法先根据请求的目标 IP 地址寻找最近的该目标 IP 地址全部使用的服务器，若是这台服务器依然可用，而且有能力处理该请求，调度器会尽可能选择相同的服务器，不然会继续选择其它可行的服务器

6. 复杂的基于局部性最少的链接算法 lblcr
记录的不是要给目标 IP 与一台服务器之间的链接记录，它会维护一个目标 IP 到一组服务器之间的映射关系，防止单点服务器负载太高。

7. 目标地址散列调度算法 dh
该算法是根据目标 IP 地址经过散列函数将目标 IP 与服务器创建映射关系，出现服务器不可用或负载太高的状况下，发往该目标 IP 的请求会固定发给该服务器。

8.源地址散列调度算法 sh

与目标地址散列调度算法相似，但它是根据源地址散列算法进行静态分配固定的服务器资源。

五、DR配置

#，，，，，，，

【主机ip】

direct_server:192.168.254.17

real_server:192.168.254.18

real_server:192.168.254.19

【vip】

#vip为虚拟服务ip

vip:192.168.254.250

direct_server：

yum install ipvsadm -y #下载ipvsadm

【配置调度器】

direct_server:

ipvsadm -C #清除配置信息

#添加对外提供的服务ip（vip）

ipvsadm -A -t 192.168.254.250:80 -s rr #-A为ADD -t为tcp -s rr为设置算法为轮叫算法

#添加2台real_server主机

ipvsadm -a -t 192.168.254.250:80 -r 192.168.254.18:80 -g #-a为add -t为tcp -r为realserver -g为DR路由模式

ipvsadm -a -t 192.168.254.250:80 -r 192.168.254.19:80 -g #-a为add -t为tcp -r为realserver -g为DR路由模式

#配置网卡的子网口为vip，ip地址为192.168.254.250

ifconfig ens33:0 192.168.254.250 broadcast 192.168.254.250 netmask 255.255.255.255 up

#添加路由（访问192.168.254.250都走ens33:0这个网卡)

route add -host 192.168.254.250 dev ens33:0

【配置real_server】:

#在回环地址的子网口上配置服务ip(vip)

ifconfig lo:0 192.168.254.250 broadcast 192.168.254.250 netmask 255.255.255.255 up

#添加路由

route add -host 192.168.254.250 dev lo:0

#下降RS的响应

echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2">/proc/sys/net/ipv4/conf/all/arp_announce

#开启响应（实验后）

echo "0">/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "0">/proc/sys/net/ipv4/conf/lo/arp_announce

echo "0">/proc/sys/net/ipv4/conf/all/arp_ignore

echo "0">/proc/sys/net/ipv4/conf/all/arp_announce

arp_ignore:定义接收到ARP请求时的响应级别

0：默认，只用本地配置的有响应地址都给予响应

1：仅仅在目标IP是本地地址，而且是配置在请求进来的接口上的时候才给予响应

(仅在请求的目标地址配置请求到达的接口上的时候，才给予响应)

arp_announce：定义将本身的地址向外通告时的级别

0：默认，表示使用配置在任何接口的任何地址向外通告

1：尽可能仅向目标网络通告与其网络匹配的地址

2：仅向与本地接口上地址匹配的网络进行通告

六，nat配置 =

DS:桥接:192.168.31.100

255.255.255.0

192.168.31.1

vmnet2:192.168.250.1

255.255.255.0

RS1:192.168.250.2

255.255.255.0

192.168.250.1

RS2:192.168.250.3

255.255.255.0

192.168.250.1

#挂载本地镜像mount /dev/cdrom /mnt/

cd /mnt/Packages/

#安装ipvsadm包

rpm -ivh ipvsadm-1.27-7.el7.x86_64.rpm

或 yum install ipvsadm -y

#开启转发模式

[root@db1 ~]# cat /proc/sys/net/ipv4/ip_forward

[root@db1 ~]#echo 1 > /proc/sys/net/ipv4/ip_forward
或者
——vim /etc/sysctl.conf

net.ipv4.ip_forward = 1
——sysctl -p

#配置nat模式
ipvsadm -A -t 192.168.31.100:80 -s rr
ipvsadm -a -t 192.168.31.100:80 -r 192.168.250.2 -m
ipvsadm -a -t 192.168.31.100:80 -r 192.168.250.3 -m

-A ：add server 添加服务ip；

-t ：tcp协议

-s ：scheduler 调度（这里是调度算法）

-a ：add real services，添加真实服务

-r ：real services ，真实服务ip

-m ：表示NAT模式

#若是想让配置保存下来须要

#查看ipvsadm包的文件位置
[root@db1 ~]# rpm -ql ipvsadm-1.27-7.el7.x86_64
/etc/sysconfig/ipvsadm-config
/usr/lib/systemd/system/ipvsadm.service
/usr/sbin/ipvsadm /usr/sbin/ipvsadm-restore
/usr/sbin/ipvsadm-save /usr/share/doc/ipvsadm-1.27
/usr/share/doc/ipvsadm-1.27/README /usr/share/man/man8/ipvsadm-restore.8.gz
/usr/share/man/man8/ipvsadm-save.8.gz /usr/share/man/man8/ipvsadm.8.gz
#查看ipvsadm.service服务的结构能够看到配置未见在/etc/sysconfig/ipvsadm

[root@db1 ~]# cat /usr/lib/systemd/system/ipvsadm.service
那么咱们只须要ipvsadm -S > /etc/sysconfig/ipvsadm就能够把配置文件保存在配置文件中
ipvsadm -R < /etc/sysconfig/ipvsadm就能够从配置文件中恢复到当前配置

七，tun配置

tun隧道模式

lvs-server

ifconfig tunl0 192.168.254.250 broadcast 192.168.254.250 netmask 255.255.255.0 up

route add -host 192.168.254.250 dev tunl0

ipvsadm -A -t 192.168.254.250:80 -s rr

ipvsadm -a -t 192.168.254.250:80 -r 192.168.254.18 -i

ipvsadm -a -t 192.168.254.250:80 -r 192.168.254.19 -i

real server

ifconfig tunl0 192.168.254.250 netmask 255.255.255.255 broadcast 192.168.254.250 up

route add -host 192.168.254.250 dev tunl0

echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

echo "0" >/proc/sys/net/ipv4/conf/tunl0/rp_filter

echo "0" > /proc/sys/net/ipv4/conf/all/rp_filter

0：不开启源地址校验。

1：开启严格的反向路径校验。对每一个进来的数据包，校验其反向路径是不是最佳路径。

若是反向路径不是最佳路径，则直接丢弃该数据包。

2：开启松散的反向路径校验。对每一个进来的数据包，校验其源地址是否可达，即反向路径是否能通（经过任意网口），

若是反向路径不一样，则直接丢弃该数据包。

__________________________________________分割线————————————————————————————