lvs调整hash表大小

大流量并发LVS负载

编者按：本文对大流量、高负载LVS系统优化提供了参考意见，从IPVS、网卡、TCP/IP配置、硬件资源配置等方面进行了阐述。文章重点关注了IPVS connection hash table的参数计算过程。

Linux环境

CentOS 5.5

名词

LVS   :   Linux Virtual Server

IPVS :   IP Virtual Server，IPVS 是 LVS 实现的关键。

IPVS connection hash table  :  IPVS链接哈希表，用来“跟踪”进来、出去的网络包（for input and output packets lookups of IPVS)。

ip_vs_conn 结构体： 定义在内核档 include/net/ip_vs.h 中。该结构体（对象）是 IPVS 的调度对象。在 32 位系统上 128字节，64位系统上 192 字节。

IPVS connection hash table

内核中的代码：net/netfilter/ipvs/ip_vs_conn.c

int ip_vs_conn_tab_bits;

编译时能够定，Kconfig文件中说明该值的大小应该在 8 到 20 之间。当ip_vs_conn_tab_bits=20 时，哈希表的的大小（条目）为 pow(2,20)，即 1048576，约 104 万，足够用了。

int ip_vs_conn_tab_size;

IPVS哈希链接表的条目数（list_head结构数）。

ip_vs_conn_tab_size = 1 << ip_vs_conn_tab_bits;

哈希表的大小（条目数）是 2 的 ip_vs_conn_tab_bits 次方。

ip_vs_conn_tab = vmalloc(ip_vs_conn_tab_size * sizeof(struct list_head));

其中 IPVS链接哈希表占用的内存大小是 ip_vs_conn_tab_size * sizeof(struct list_head)

内 核Kconfig文件中说一个哈希条目点用8个字节，可是实示上，一个条目占用的内存大小是和 list_head 结构体的大小相关， （可能）在32位的内核里是8个字节，64位的内核里是16个字节。当加载ip_vs模块的时候，使用dmesg能够看到具体的信息：

在32位系统上

IPVS: Registered protocols (TCP, UDP, AH, ESP)

IPVS: Connection hash table configured (size=4096, memory=32Kbytes)

IPVS: ipvs loaded.

在64位的系统上：

IPVS: Registered protocols (TCP, UDP, AH, ESP)

IPVS: Connection hash table configured (size=4096, memory=64Kbytes)

IPVS: ipvs loaded.

哈希冲突，是哈希算法的致命伤。“IPVS”使用“链表策略”(chaining scheme) 解决哈希冲突。当有大量的链接时，一个大的 “IPVS链接哈希表”将大大减小冲突。减小了冲突，意为着IPVS定位 ip_vs_conn 对象的速度更快。

下图示意了哈希表（Hash Table）这种数据结构。引用

如 上图所示，首先分配一个指针数组，数组的每一个元素是一个链表的头指针，每一个链表称为一个槽（Slot）。哪一个数据应该放入哪一个槽中由哈希函数决定，在这个 例子中咱们简单地选取哈希函数h(x) = x % 11，这样任意数据x均可以映射成0~10之间的一个数，就是槽的编号，将数据放入某个槽的操做就是链表的插入操做。

若是每一个槽里至多只有 一个数据，能够想像这种状况下search、insert和delete操做的时间复杂度都是O(1)，但有时会有多个数据被哈希函数映射到同一个槽中， 这称为碰撞（Collision），设计一个好的哈希函数能够把数据比较均匀地分布到各个槽中，尽可能避免碰撞。若是能把n个数据比较均匀地分布到m个槽 中，每一个糟里约有n/m个数据，则search、insert和delete和操做的时间复杂度都是O(n/m)，若是n和m的比是常数，则时间复杂度仍 然是O(1)。通常来讲，要处理的数据越多，构造哈希表时分配的槽也应该越多，因此n和m成正比这个假设是成立的。

关联到IPVS，ip_vs_conn_tab_size 指的就是“槽”的数量。 N 指的应该是全部的调度对象 struct ip_vs_conn 的数量。

肯定 ip_vs_conn_tab_bits 的最佳值：

假 如你的 LVS 上每秒有 W 个“链接”创建， 平均每一个“链接”将要保持 S 秒，即每一个链接工做 S 秒，最佳 ip_vs_conn_tab_bits 值应该知足 2 的 ip_vs_conn_tab_bits 次方靠近 W*S。最佳的 ip_vs_conn_tab_bits = log(W*S,2).

还有一个容易的方法：

使用 slabtop 观察 ip_vs_conn 结构的数量（OBJS），固然，应该是在系统流量最高的时候取得这个值，对该值求以 2为底 的对数，log(OBJS,2)。

获取ip_vs_conn OBJS的值：awk ‘/ip_vs_conn/{print $3}’  /proc/slabinfo

这个最佳值，以我理解，就是上面 “哈希表”结构说明中提到的M值，而 OBJS 就是 N 值 ，当M接近 N的时候，哈希表的复制度为O(1)，为最佳状态。

使我不解的是，这里为何不设置的更大一些，仅仅是浪费一些内存并且（一个条目用去8或者16个字节）。即便取最大值 20,在64位内核上，也才只占去16M的内存，在32位的内核上，占去8M内存。

IPVS的默认值是12，32位机用掉 32K，64位机用掉 64K内存。假如不是由于小内存容易使用CPU缓存，那么就必定是为了节省内存，在服务器上，这样的策略，明显落后了。

问题的关键是查明 vmalloc() 函数的做用。

vmalloc() 函数的做用：

申请逻辑地址连续的内存，返回首内存地址。

看来IPVS链接哈希表的大小，与使用的内存（是高速缓存，仍是普通内存）并没有影响。

调整 ip_vs_conn_tab_bits的方法：

新的IPVS代码，容许调整 ip_vs_conn_bits 的值。而老的IPVS代码则须要经过从新编译来调整。

在发行版里，IPVS一般是以模块的形式编译的。

确认可否调整使用命令 modinfo -p ip_vs（查看 ip_vs 模块的参数），看有没有 conn_tab_bits 参数可用。假如能够用，那么说时能够调整，调整方法是加载时经过设置 conn_tab_bits参数：

在 /etc/modprobe.conf 添加下面一行

options ip_vs conn_tab_bits=20

假如没有 conn_tab_bits 参数可用，则须要从新调整编译选项，从新编译。

很不幸，即便将CentOS内核升级到最新版，也不支持这个参数，只能自定义编译了（没有编译成功，很郁闷）。

另外，假如IPVS支持调整 ip_vs_conn_tab_bits，而又将IPVS集成进了内核，那么只能经过重启，向内核传递参数来调整了。在引导程序的 kernel 相关的配置行上，添加：ip_vs.conn_tab_bits=20 ，而后，重启。

最终建意：

增大哈希表，调到 ip_vs_conn_tab_bits 到 20 。有一种说法是哈希表过大，会影响性能。可是根据我对哈希算法的理解，这种说法没有道理。

另外一个有力的证据是，IPVS的做者也是这样配置的。

Network

增长LVS主机的网络吞吐能力，有利于提升LVS的处理速度和能力。

1. 使用更快的网卡，好比使用千兆、万兆的网卡。

2. 能够进一步将两块或多块网卡绑定（多块网卡的绑定有待验证），bonding 时 mode=0 （balance-rr）或者 mode=4（802.3ad，须要交换机支持聚合端口），miimon=80或者 miimon=100（毫秒）。

TCP/IP

/etc/sysctl.conf

net.core.netdev_max_backlog = 60000

Hardware

IPVS的运行，使用的服务器资源主要是 CPU、内存I/O、网络I/O；IPVS彻底运行在内存中，而且运行在内核态。

当IPVS的应用在DR模式时，即不耗CPU，也不耗I/O，运行很是快，因此系统负载很是的低，跟据个人经验，通常负载老是0。因此 LVS 应用对服务器的配置要求很是低。觉得 LVS 很重要，因此配置一个至关高端的服务器，实在是一种浪费。

其实咱们能够作一下计算：

以64位系统为例，一个哈希表条目，16个字节，一个 ip_vs_conn 结构 192字节。以哈希表的冲突尽量的少为场景（将 ip_vs_conn_tab_bits 设置为最大值 20 ），那么：

pow(2,20)=1048576

pow(2,20)*(16+192)/1024/1024 = 208 M

就是说，当系统当前有100 万链接的时候，才用去内存 208 M，因此  IPVS 的主机，即便是1G的内存，也足以承载负载。

转自：http://hi.baidu.com/imfam520/item/50727b123187750ee65c36a2