LVS介绍及工做原理图解

    不少人使用过LVS集群系统，但对于LVS集群，大多数人不清楚它究竟是个什么东西。接下来咱们就聊聊LVS及其工做原理。

一.lvs介绍

  LVS的英文全名为“Linux Virtual Server”，即Linux虚拟服务器，是一个虚拟的四层交换器集群系统，根据目标地址和目标端口实现用户请求转发，自己不产生流量，只作用户请求转发，目前是负载均衡性能最好的集群系统。

二.Lvs原理介绍

  图示以下：

 

  1.首先用户向负载均衡器调度器（Director Server）发起请求，负载均衡器将请求发往至内核空间，交给内核模块进行检测。

  2.内核模块中的PREROUTING链首先会收到用户请求，判断目标地址是不是负载均衡器的IP地址，若是是，则将数据包发往INPUT链。

  3.IPVS模块是工做在INPUT链上的，当用户请求到达INPUT链上时，IPVS会将用户请求和本身已定义好的集群服务做对比，若是用户请求的就是定义的集群服务，那么IPVA会强行修改数据包里的目标IP地址和目标端口，并将新的数据包发往POSTROUTING链。

  4.POSTROUTING连接收到数据包发现目标IP地址恰好是本身的后端的服务器，那么经过选路，将数据包最终发送给后端的服务器。

三.lvs组成结构

 lvs有两组代码，ipvs和ipvsadm。

  ipvs(ip virtual server)：即ip虚拟服务，是工做在内核空间上的一段代码，主要是实现调度的代码。

  ipvsadm：工做在用户空间，负责为ipvs内核框架编写规则，定义谁是集群服务，谁是后端真实服务器。

四.lvs术语

  DS:Director Server，目标服务器，即负载均衡器。

  RS：Real Server,真实服务器，即后端服务器。

五.lvs关于IP的术语

  VIP：virtual IP是外部直接面向用户请求，做为用户请求的目标IP地址。

  DIP：Director Server IP.主要用于和内部主机通讯的IP地址。

  RIP：Real Server IP

  CIP：Client IP，客户端IP

注：负载均衡器使用双网卡，一块是指向外部的VIP，一块是指向内部的IP，用于和内部服务器通讯。

六.lvs的类型  

根据架构有3种不一样的模型
 一、lvs-nat  （Network Address Translation）（建议小规模使用）

 二、lvs-dr （Direct Routing 直接路由）（建议大规模使用，也是如今较多使用场景的方法）

 三、lvs-tun  （Tunneling 隧道）（lvs-tun模型比较少用，由于它不能实现全局负载均衡，不能根据用户区域的距离来挑选最近的机房。这个最多为了实现异地容灾来实现的。比方说日本的机房地震了，而此时美国的机房仍然可以使用，那么只要将指向到美国机房便可。而通常只有这种场景下才会用到隧道机制）

七.lvs-nat模型

   主要是修改目标IP地址为挑选出新的RS的IP地址。即请求进入负载均衡器时作DNAT，响应出负载均衡器时作SNAT。

1.当用户请求到达Director Server，此时请求的数据报文会先到达内核的PREROUTING链，此时报文的源IP是CIP，目标IP是VIP。

2.PREROUTING链检查发现数据包的目标IP是本机，将数据包送至INPUT链。

3.IPVS内核模块比对数据包请求的服务是否为集群服务，若是是，则修改数据包的目标IP为后端服务器的IP，而后将数据包发至POSTROUTING链，作DNAT转换。此时报文的源IP是CIP，目标IP是RIP

4.POSTROUTING链经过选路，将数据包发送到Real Server。

5.Real Server比对发现目标IP是本身的IP，开始创建响应报文发回给Director Server，此时报文的源IP是RIP，目标IP是CIP.

6.Director Server在响应客户端以前，此时会将源IP地址修改成本身的IP地址，而后响应给客户端，作SNAT转换。此时报文的源IP是VIP。目标IP是CIP。

特性：

1.RS必须使用私有地址，将RS的网关指向DIP。

2.DIP和RIP必须是同一网段内。

3.请求和响应报文都要通过Director Server，高负载场景中，Director Server会出现性能瓶颈。

4.支持端口映射

5.RS可使用任意操做系统

八.lvs-dr模型

    将请求报文的目标MAC地址设定为天选出来的RS的MAC地址。即作MAC地址转换。

1.当用户请求到达Director Server，此时请求的数据报文huixiandao内核空间的PREROUTING链，此时报文的IP是CIP，目标IP是VIP。

2.PREROUTING链检查发现数据包的目标IP是本机，将数据包送至INPUT链，

3.IPVS内核模块比对数据包请求的服务是否为集群服务，若是是，将请求报文中的源MAC地址修改成DIP的MAC地址，将目标MAC地址修改成RIP的MAC地址，而后将数据包发至POETROUTING链中，此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址。

4.因为DS和RS实在同一网络中，因此二者之间的通讯时经过二层协议来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

5.RS发现请求报文的MAC地址是本身的MAC地址，就接受此报文，处理完成之后，将响应报文经过IO接口传送给eth0网卡，而后向外发出，不通过负载均衡器。此时源IP地址为VIP，目标IP是CIP。

6.响应报文最终送至客户端。

特性：

1. 保证前端路由将目标地址为VIP的报文所有发送给DS，而不是RS。

   解决方案：

   （1）.在前端路由作静态地址路由绑定，将对于VIP的地址仅路由到DS上。

   存在问题：用户未必有权限操做路由，

   （2）.arptables：在arp层次上实现arp解析时作防火墙规则，过滤RS响应arp请求，由iptables提供。

   （3）.修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制不能响应对VIP地址的解析请求。

2.RS可使用私有地址，也可使用公网地址，若是使用公网地址，能够直接对RIP进行直接访问。

3.RS和DS必须在同一物理网络中（即必须是同一物理网络）。

4.全部的请求报文经由DS，但响应报文必须不能通过DS。

5.不支持地址转换，即整个过程和不转换IP地址，只转换MAC地址。也不支持端口映射。

6.RS可使大多数操做系统

7.RS的网关绝对不容许指向DIP，由于不容许响应报文通过DS。

8.RS的lo接口配置VIP的地址。

九.lvs-tun模型

    在原有的IP报文外再次封装多一层IP首部，内部IP首部（源地址为CIP，目标地址为VIP）外部IP地址首部（源地址为DIP，目标地址为RIP）

1. 当用户请求报文到达DS，此时请求的数据报文会先到内核的PREROUTING链。此时源IP是CIP,目标IP是VIP。

2. PREROUTING链检查发现数据包的目标IP是本机，将数据包送至INPUT链。

3. IPVS比对数据包请求的服务是否为集群服务，若是是，在请求报文的首部再次封装一层IP报文，封装源IP为DIP，目标IP是RIP，而后发至POSTROUTING链。此时源IP是为DIP，目标IP是RIP。

4. POSTROUTING链根据最新封装的IP报文，将数据包发至RS（由于外层封装多了一层IP首部，因此能够理解为此时经过隧道传输）。此时源IP是DIP，目标IP是RIP。

5. RS收到报文后发现是本身的IP地址，就会将报文接受下来，拆除最外层的IP后，会发现里面还有一层IP首部，并且目标地址是本身的lo接口VIP，那么此时RS开始处理此请求，处理完成滞后，经过lo接口送给eth0网卡，而后向外传递。此时的源IP地址为VIP，目标IP为CIP。

6. 响应报文送达至客户端。

特性：

1. RIP、VIP、DIP全为公网地址。

2. RS的网关不会也不可能指向DIP。

3. 全部的请求报文经由DS，但响应报文必须不能通过DS。

4. 不支持端口映射。

5. RS的系统必须支持隧道模型。

十.LVS的调度算法

    分为静态方法和动态方法。

1.静态算法

• rr：round robin，轮循，按照顺序将请求分配到后端真实服务器上，不考虑后端服务器负载。

• wrr:weight round robin，带权重的轮询。意为能者多劳，根据后端真实服务器的性能来进行调度，根据后端真实服务器的负载状况，修改权重值来实现动态的调度。

• sh：source hashing，源地址hash，未来自于同一个源IP的请求始终被丁香转发到同一个RS，目的是为了session持久功能，仅实现session的绑定。

• dh：destination hashing，目标地址hash，主要用于实现当你的内部主机有多个防火墙出口时有用。

2.动态算法

• lc：least connection，最少链接，经过监控后端RS的链接数，根据TCP协议中的某些计数器来判断，将请求调度到已创建的链接数最少后端的真实服务器。计算方法：Overhead=Active*256+Inactive

Overhead：负载均衡

Overhead越小，表示负载越低。

• wlc：weight lc，加权最少链接

  在集群系统中的服务器，若是性能差别较大的状况下，调度器能够根据采用“加权的最少链接”调度算法来提升负载均衡性能，权值较高的RS将会承接更大比例的负载链接。因此调度器能够根据“加权的最少链接”来判断服务器的负载状况，并动态调整其权重值。

  计算方法：Overhead=(Active*256+Inactive)/weight
  

• sed：shortest expertion delay最短时间望延迟

  基于WLC算法，Overhead = （ACTIVE+1）*256/加权，再也不考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动链接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无链接状态。

  计算方法：Overhead=((Active+1)*256)/weight， 让权重大的优先接收请求

• nq：Never Queue，永不排队
  能够理解第一个请求上来先轮一圈，就是每一个都先响应一次，而后在接着使用上面那种方法计算让谁响应。若是有台Real Server的链接数＝0就直接分配过去，不须要在进行sed运行。

• lblc：Locality-Based Least connection基于本地的最小链接
  基于局部性的最少链接算法是针对请求报文的目标IP地址的负载均衡调度。主要用于Cache集群系统，由于Cache中客户请求报文的目标IP会不断发生改变。因此该算法根据请求的目标IP地址找出该目标IP地址最近使用的Real Server，若该服务器是可用的且没有超载，就会使用“最少连接”来挑选一台可用的服务器，将请求发送到该服务器

• lblcr：Replicated lblc带复制功能的lblc，是dh算法的一种改进带复制功能的lblc也是针对目标IP地址作负载均衡。主要是根据请求的目标IP找到目标IP对应的服务器组，根据“最小链接”原则，从服务器组中挑选一台服务器。若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小链接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以下降复制的程度。