LVS工做总结之原理篇–DR模式

原文地址：

http://www.chenqing.org/2012/11/%E3%80%90lvs%E3%80%91lvs%E5%B7%A5%E4%BD%9C%E6%80%BB%E7%BB%93%E4%B9%8B%E5%8E%9F%E7%90%86%E7%AF%87.html

博客中还有其余模式和keepalived的原理总结。这篇本身总结标注和整理了一下，本身总结的地方红色标注。

======================================================================================================================================

先解释几个名词：

    LB(Load Balancer) :负载均衡器，也就是装有LVS（ipvsadm）的server

    VIP(Virtual IP):虚拟IP，也就是给远程客户端（网民）提供服务的外部IP，好比，提供80服务，域名是www.a.com,则www.a.com 对应的A记录就是VIP

    LD(Load Balancer Director):同LB，负载均衡调度器

    real server:即后端提供真是服务的server，好比你提供的是80服务，那你机器可能就是装着Apache这中web服务器

    DIP(Director IP)：在NAT模式中是后端realserver的gateway，在DR和Tune中若是使用heartbeat或者keepalived，用来探测使用

    RIP(Real Server IP):后端realserver的IP

LVS的三种工做模式

    DR（直接路由）

    NAT（网络地址转换）

    Tune （隧道）

DR(直接路由)

这里咱们以及后面的例子咱们都会假设这么一个场景，咱们使用LVS为咱们的web集群提供负载均衡功能：

    VIP： 221.130.1.2

    DIP1: 221.130.1.3

    DIP2: 221.130.1.4

    RIP1: 221.130.1.100

    RIP2: 221.130.1.101

    GATEWAY: 221.130.1.1

关于公网VIP得到：这个IP不能真实存在，不能是服务器的IP，VIP和其余IP必须在一个网段，若是机器均置于IDC机房，只须要向你的IDC申请5个公网IP便可，多余的一个公网ip用于VIP；

DR模式的原理

如今客户端CLient访问www.a.com ,通过dns查询获得目的IP为VIP，目的端口为80，因而客户端和咱们VIP，端口80创建链接（TCP三次握手，只是创建链接没有传送数据），以后客户端发送HTTP请求，LVS在VIP上收到以后，根据hash策略，从后端realserver中选

出一台做为这次请求的接受者，假设为RIP1，LVS将请求包的目的mac地址更改成RIP1的mac，而后封装后转发给后端的RIP1，同时将该连接记录在hash表中。

RIP1的某一块网卡，好比eth0，接收到这个转发包看到mac地址是本身的，因而就转发给上层的IP层，IP层解开包后，发现目的的IP地址也是本身，由于VIP也配置在咱们的一块non-arp的网卡上（好比lo:0）,而后根据IP首部的类型字段（这里是TCP），把请求送给

TCP，而后TCP根据目的端口80，传给应用层的Apache，Apache处理完请求以后，将数据传给TCP，TCP将源端口更改成80 ，源IP更改成VIP，目的端口更改成客户端的端口，目的IP更改成Client的IP，打包后给IP层，IP层根据目的地址进行路由，而后通过网络返给

Client，完成了一次请求，而不通过LB；

这里注意的是，VIP和realserver必须在同一个网段中的（想一想为何？）

DR模式的优缺点

优势：

    可扩展性强，ld不会成为业务增加的瓶颈

缺点：

    节点不能跨网段，即real server和ld必须在一个物理网段中,必定程度上可能会使用多个公网IP

    realserver上须有一块网卡不接受arp广播

DR模式与arp

因为DR模式使用的是更改目的的mac地址，因此不免要和arp打交道。

通常来讲客户端是不会和咱们的服务器在同一个网段的，那么请求就会通过咱们的服务器所在网段的路由设备上，咱们知道在同一网段中，两个主机通讯靠的是二层的物理地址而不是Ip地址，因此当请求包到达这路由设备上以后，若路由设备的arp表中没有VIP对应的

MAC，就会广播一个arp请求，在这里咱们将LVS和real server上都配置了VIP，那么按照理论他们都会响应这个arp请求，那路由器的arp表就会乱了。因此，咱们就须要只让LVS上响应VIP的arp请求，而real server 不响应；

Linux主机有这么一个特性，假设咱们的主机上有两块网卡，好比eth0,eth1 当arp请求eth1的mac地址的时候，eth1会答复，这个是理所固然的，可是eth0也会“好心”的帮eth1回答这个arp请求； 要防止这样的话，就须要更改下咱们的一些内核参数：

    net.ipv4.conf.lo.arp_ignore = 1

    net.ipv4.conf.all.arp_ignore = 1

正常状况下只写第二条就是了，all 是指全部设备的interface，当all和具体的interface好比lo，按照最大的值生效；

另一个linux的特性就是，对于一个从realserver发出的arp请求，其源IP是VIP，而出口不会是lo，这里假设是eth0，那么这个arp请求包里里面，源IP就是VIP，源MAC是eth0的mac，目的IP是网关，那么路由器在接收到这个请求的时候，会将将本身的相应接口的硬

件地址放在arp响应包中，同时将请求包中的源IP及MAC放在arp高速缓存中，那这下可就乱套 了，就会使真正的VIP得不到正确的请求了.

这是由于，正常的状况下，arp的请求中源IP是出去的所在接口的地址，mac也是出去的接口的mac，但linux在默认状况下却不是这样的，若是一个接口发出的arp请求须经另外一个出口出去的时候，源IP就不是所出去接口的IP，那么将内核参数设置为 2 相应的解决了这个

问题。

    net.ipv4.conf.lo.arp_announce = 2

    net.ipv4.conf.all.arp_announce = 2

===================

关于arp:
1.什么是arp？

ARP协议是“Address Resolution Protocol”（地址解析协议）的缩写。在局域网中，网络中实际传输的是“帧”，帧里面是有目标主机的MAC地址的。在以太网中，一个主机要和另外一个主机进行直接通讯，必需要知道目标主机的MAC地址。但这个目标MAC地址是如何获

得的呢？它就是经过地址解析协议得到的。所谓“地址解析”就是主机在发送帧前将目标IP地址转换成目标MAC地址的过程。ARP协议的基本功能就是经过目标设备的IP地址，查询目标设备的MAC地址，以保证通讯的顺利进行。

2.arp协议的工做原理？

在每台安装有TCP/IP协议的电脑里都有一个ARP缓存表，表里的IP地址与MAC地址是一一对应的

咱们以主机A（ ）向主机B（ ）发送数据为例。当发送数据时，主机A会在本身的ARP缓存表中寻找是否有目标IP地址。若是找到了，也就知道了目标MAC地址，直接把目标MAC地址写入帧里面发送就能够了；若是在ARP缓存表中没有找到相对应的IP地址，主机A就会在

网络上发送一个广播，目标MAC地址是“FF.FF.FF.FF.FF.FF”，这表示向同一网段内的全部主机发出这样的询问：“ 的MAC地址是什么？”网络上其余主机并不响应ARP询问，只有主机B接收到这个帧时，才向主机A作出这样的回应：“ 的MAC地址是00-aa-00-62-

c6-09”。这样，主机A就知道了主机B的MAC地址，它就能够向主机B发送信息了。同时它还更新了本身的ARP缓存表，下次再向主机B发送信息时，直接从ARP缓存表里查找就能够了。ARP缓存表采用了老化机制，在一段时间内若是表中的某一行没有使用，就会被删

除，这样能够大大减小ARP缓存表的长度，加快查询速度。

3.如何查看arp缓存表？

ARP缓存表是能够查看的，也能够添加和修改。在命令提示符下，输入“arp -a”就能够查看ARP缓存表中的内容了

用“arp -d”命令能够删除ARP表中某一行的内容

用“arp -s”能够手动在ARP表中指定IP地址与MAC地址的对应。

===================

其它问题    ip_forward不须要打开，由于LB和real server在同一个网段    通常VIP所在的网卡还配置一个DIP，这是由于若是是用了keepalived等工具作HA或者Load Balance,则在健康检查时须要用到DIP    在realserver上也能够将VIP配置在除RIP所在网卡的其它网卡上