四层负载均衡——LVS

LVS

 

参考：http://zh.linuxvirtualserver.org/

 

几个术语：

Director：也能够称为调度器，LVS前端设备；

realserver：也称为真实内部服务器，是真正在提供服务的；

VIP：对外公布的IP，即客户请求进来的IP地址；

DIP：调度器和realserver之间通讯的地址；

 

 

LVS的三种工做方式

 

LVS实现服务器集群负载均衡有三种方式，NAT，DR和TUN，下面简单谈谈这三种方式的区别：

 

LVS-NAT：

这个方法的思路是实施网络层（IP层）数据欺骗，它把客户端发送到redirector数据IP包的目标地址进行了替换。

 

一、网络环境

一台director + N台realserver，director和realserver在同一个私有网段，director是realserver的默认网关。只有director拥有公共IP，能够暴露在广域网上。

 

二、客户端请求

客户端请求先到公用IP（director），请求报文中的IP包目标地址被替换成了一个director据负载均衡策略选择的一个realserver的IP。

三、realserver响应
realserver处理完请求生成了返回数据包，返回数据IP包的源地址是realserver的IP地址，目标地址是客户服务端IP地址。因为realserver的默认网关是redirector，所以尽管返回IP数据包的目标地址是客户端的ip地址，返回数据包仍然首先被发回到redirector上。redirector再次实施欺骗，把返回的IP 数据包的源地址改为本身的IP。而后再转发到交换机上返回给客户端。

整个过程redirector的任务是实施了2次IP层欺骗修改，一次是修改了请求数据包得目标地址，此次修改的目的是为了实现数据的负载均衡的分发。另外一次是修改了响应数据包的源地址，目的是为了隐藏realserver，使用户感受不到realserver的存在。

三、限制：整个集群的吞吐量受到redirector的带宽限制（主要是出口带宽）。

LVS-DR：

这个方法的思路是实施数据链路层数据欺骗，修改网络帧数据的Mac地址。
一、网络环境
一台director + N台realserver，director和realserver都拥有公共IP，都暴露在广域网上，此外realserver还有一个和director ip地址同样的ip别名。

也就是说realserver有2个ip，一个真实的ip地址，一个和direcotr地址同样的IP别名（即公用IP），公用IP就是开放给客户端访问的IP地址。
realserver还须要作一个配置，使它们忽略全部的针对公用IP的ARP广播，当系统arp广播询问哪一个mac地址拥有公用IP时，就只有调度服务器会响应，外界发送的数据就不会发给实际服务器。

二、客户端请求
客户端请求先到公用IP（director），因为网络环境已配置为只有director响应过ARP广播，所以请求报文的mac地址会被改成realserver的mac地址。

也就是说redirector实施链路层欺骗，将帧数据的目标mac地址替换成根据负载均衡策略决定的某一realserver的mac地址。

三、realserver响应
realserver收到mac帧，而后将mac帧组装成ip包，发现ip包中的目标地址和本身的ip别名相同，没有问题，继续处理，（这就是要求ip别名相同的缘由，若是不一样，操做系统可能会直接忽略）生成响应数据，发送回去。这时候因为redirector不是默认网关，所以这些数据会直接发到广域网上，广域网会把数据送到客户端。

四、优势：返回数据包无需通过redirector，没有redirector带宽瓶颈。原则上集群的带宽是全部实际服务器带宽之和，固然他们不可能超过链接的广域网交换机的带宽。

五、限制：须要购买多个公共IP，director和realserver必须在同一个 WAN网段，也就是要在同一个交换机上。

为何必定要在同一网段呢？很简单，若是realserver在另一个网段，redirector把整个数据包和mac帧修改完以后再发送到交换机上，交换机发现本身的wan内找不到这个mac地址，没法进行转发。

 

LVS-TUN：

这个方法是为了突破LVS-DR同一网段内的限制所提出来的。它不作任何欺骗，而是光明正大的交流，在网络层进行了二次包装。

一、网络环境

一台director + N台realserver，director 和realserver都拥有公共IP，都暴露在广域网上。公共ip互不相同，没有别名限制，也无需在同一网段。

二、客户端请求
客户端发送数据到redirector，redirector把IP包做为有效负载放到一个新的IP包中去，并根据调度策略肯定一个特定realserver的ip做为新的IP包得目的地址。这些新的IP包彻底符合网络协议，也没有任何欺骗的勾当，所以这些ip包光明正大得穿过wan网段，达到指定的realserver。

三、realserver响应
realserver拿到数据后，它须要作一个事情，把ip包的有效载荷提取出来，而后把这些载荷再做为ip包组成TCP，再向上组成最后的请求数据。根据请求数据，realserver生成返回数据后，光明正大返回给客户端。

四、优势：和LVS-DR同样，没有redirector出口带宽瓶颈。

五、缺点：须要额外的打包和解包，有必定的开销。

 

 

LVS配置

ipvsadm安装

yum -y install ipvsadm

 

LVS-NAT的配置

一、realserver配置要求：

配置内部私网地址，默认网关指向调度服务器

 

二、Directer配置要求 基本配置：

调度服务器须要2块网卡（一块网卡对外，一块网卡对内。1块也能够，配置子接口，对外的VIP和DIP都配置在同一网卡上，不过这样会更加的下降调度器的性能，建议仍是双网卡）

关闭selinux和iptables，并打开包转发功能：

setenforce 0
service iptables stop

echo "1" > /proc/sys/net/ipv4/ip_forward

（为了不没必要要的麻烦，在每台服务器上都关闭这2个服务）

 

ipvsadm -A –t $VIP：$Port -s rr

解释：-A表示添加一个集群服务（能够添加多个，好比添加一个web的80和一个https的443）；

-t表示是tcp协议；

-s表示调度算法是轮询（一共有10种调度算法，能够按照本身实际须要选择）

 

ipvsadm -a –t $VIP：$Port -r $DIP:$Port -m

解释：-a表示添加一个realserver，后面跟上以前定义的集群服务的地址端口，-r表示增长具体realserver的地址，-m表示模式为NAT模式

 

LVS-DR的配置

一、Realserver配置要求 基本配置

首先先配置限制arp，否则等配置好地址后就产生地址冲突了，经过修改内核参数来实现。

在linux中 ，默认在接口上通告全部接口上IP的arp广播，在接口上应答全部接口上IP的arp请求

arp_announce 限制arp通告

限制等级

0：在接口上通告全部接口上IP的arp广播

1：对于其它设备的arp请求，在接口上尽可能限制广播通告应答（不够严格）

2：只通告本接口上IP的arp广播

arp_ignore 限制arp应答

限制等级

0：对于其它设备 的arp请求，应答全部其它接口的上IP的arp应答

1：对于其它设备的arp请求，只应答本接口上IP的arp应答

echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf//lo/arp_announce

echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

 

在realserver上的lo口配置VIP，这样配置就限制了VIP不会在物理交换机上产生MAC地址表，从而避免IP冲突

ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255

ifconfig eth0 $DIP up

 

注意此VIP的接口的广播地址仍然为VIP，限制其广播，子网掩码是32位，下面调度器上的配置也注意此项

配置特殊路由，使目标为VIP的包的以源地址为VIP的lo口出去

route add –host $VIP dev lo:1

 

Directer配置要求

配置VIP和DIP，VIP配置在物理网卡的子接口上

ifconfig eth0 $DIP broadcast $VIP netmask 255.255.255.0 up

ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up

 

配置特殊路由，目标是VIP的包从配置了VIP的物理子接口上出去

route add –host $VIP dev eth0:1

 

集群配置

ipvsadm -A –t $VIP：$Port-s rr

解释：-A表示添加一个集群服务（这里和NAT中的配置同样）

 

ipvsadm -a –t $VIP：$Port -r $DIP:$Port-g

解释：其它和NAT也差很少，在最后的模式改成-g，即DR模式

 

 

LVS调度算法

-s 指定服务采用的算法，经常使用的算法参数以下：
rr 轮叫（Round Robin）
调度器经过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而无论服务器上实际的链接数和系统负载。

wrr 加权轮叫（Weighted Round Robin）
调度器经过”加权轮叫”调度算法根据真实服务器的不一样处理能力来调度访问请求。这样能够保证处理能力强的服务器处理更多的访问流量。调度器能够自动问询真实服务器的负载状况，并动态地调整其权值。

lc 最少连接（Least Connections）
调度器经过”最少链接”调度算法动态地将网络请求调度到已创建的连接数最少的服务器上。若是集群系统的真实服务器具备相近的系统性能，采用”最小链接”调度算法能够较好地均衡负载。

wlc 加权最少连接（Weighted Least Connections）
在集群系统中的服务器性能差别较大的状况下，调度器采用”加权最少连接”调度算法优化负载均衡性能，具备较高权值的服务器将承受较大比例的活动链接负载。调度器能够自动问询真实服务器的负载状况，并动态地调整其权值。

lblc 基于局部性的最少连接（Locality-Based Least Connections）
“基于局部性的最少连接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工做负载，则用”最少连接” 的原则选出一个可用的服务器，将请求发送到该服务器。

lblcr 带复制的基于局部性最少连接（Locality-Based Least Connections with Replication）
”带复制的基于局部性最少连接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不一样之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按”最小链接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按”最小链接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以下降复制的程度。

dh 目标地址散列（Destination Hashing）
“目标地址散列”调度算法根据请求的目标IP地址，做为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，不然返回空。

sh 源地址散列（Source Hashing）“源地址散列”调度算法根据请求的源IP地址，做为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，不然返回空。