HAProxy系列文章：http://www.cnblogs.com/f-ck-need-u/p/7576137.html
在上一篇文章中，分析了haproxy如何经过cookie实现会话保持，本文讨论haproxy另外一种实现会话保持的方式：stick table。
1.stickiness和stick table简介
stick table是haproxy的一个很是优秀的特性，这个表里面存储的是stickiness记录，stickiness记录了客户端和服务端1:1对应的引用关系。经过这个关系，haproxy能够将客户端的请求引导到以前为它服务过的后端服务器上，也就是实现了会话保持的功能。这种记录方式，俗称会话粘性(stickiness)，即将客户端和服务端粘连起来。
stick table中使用key/value的方式映射客户端和后端服务器，key是客户端的标识符，可使用客户端的源ip(50字节)、cookie以及从报文中过滤出来的部分String。value部分是服务端的标识符。
stick table实现会话粘性的过程以下图：
除了存储key/value实现最基本的粘性，stick table还能够额外存储每一个stickiness记录对应的状态统计数据。好比stickiness记录1目前创建了多少和客户端的链接、平均创建链接的速度是多少、流入流出了多少字节的数据、创建会话的数量等等。
stick table能够在"双主模型"下进行复制(replication)。只要设置好对端haproxy节点，haproxy就会自动将新插入的、刚更新的记录经过TCP链接推送到对端节点上。这样一来，粘性记录不会丢失，即便某haproxy节点出现了故障，其余节点也能将客户端按照粘性映射关系引导到正确的后端服务器上。并且每条stickiness记录占用空间都很小(平均最小50字节，最大166字节，由是否记录额外统计数据以及记录多少来决定占用空间大小)，使得即便在很是繁忙的环境下在几十个节点之间推送都不会出现压力瓶颈和网络阻塞(能够按节点数量、stickiness记录的大小和平均并发量来计算每秒在网络间推送的数据流量)。
此外，stick table还能够在haproxy重启时，在新旧两个进程间进行复制，这是本地复制。当haproxy重启时，旧haproxy进程会和新haproxy进程创建TCP链接，将其维护的stick table推送给新进程。这样新进程不会丢失粘性信息，和其余节点也能最大程度地保持同步，使得其余节点只须要推送该节点重启过程当中新增长的stickiness记录就能彻底保持同步。
2.使用stick table
下图是本文测试时的环境：
2.1 建立stick table
首先看建立stick table的语法：
stick-table type {ip | integer | string [len <length>] | binary [len <length>]} size <size> [expire <expire>] [nopurge] [peers <peersect>] [store <data_type>]*
其中
type ip | integer | string：使用什么类型的key做为客户端标识符。能够是客户端的源IP，能够是一个整数ID值，也能够是一段从请求报文或响应报文中匹配出来的字符串。size：表中容许的最大stickiness记录数量。单位使用k、m和g表示，分别表示102四、2^20和2^30条记录。expire：stickiness记录的过时时长。当某记录被操做后，过了一段时间就会过时，过时的记录会自动从stick table中移除，释放表空间。nopurge：默认状况下，当表满后，若是还有新的stickiness记录要插入进来，haproxy会自动将一部分老旧的stickiness记录flush掉，以释放空间存储新纪录。指定nopurge后，将不进行flush，只能经过记录过时来释放表空间，所以该选项必须配合expire选项同时使用。peers：指定要将stick table中的记录replication到对端haproxy节点。store：指定要存储在stick table中的额外状态统计数据。其中表明后端服务器的标识符server ID(即key/value的value部分)会自动插入，无需显式指定。
注意，每一个后端组只能创建一张stick table，每一个stick table的id或名称等于后端组名。例如在backend static_group后端建立stick table，则该表的id为"static_group"。也有特殊方法创建多张，但无必要，可翻官方手册找方法。
例如，建立一个以源IP地址为key的stick table，该表容许100W条记录，5分钟的记录过时时长，而且不记录任何额外数据。
stick-table type ip size 1m expire 5m
这张表因为没有记录额外的统计数据，每条stickiness记录在内存中只占用50字节左右的空间，表满后整张表在内存中占用50MB(2^20*50/1024/1024=50MB)。看上去很大，但检索速度是极快的，彻底不用担忧性能问题。
若是还要存储和客户端创建的链接数量计数器(conn_cnt)，则：
stick-table type ip size 1m expire 5m store conn_cnt
conn_cnt占用32个bit位，即4字节，所以每条stickiness记录占用54字节，100W条记录占用54M内存空间。
2.2 查看stick table
haproxy没有直接的接口能够显示stick table的相关信息，只能经过stats socket进行查看。该指令表示开启一个本地unix套接字监听haproxy的信息，经过这个套接字能够查看haproxy的不少信息，且能动态调整haproxy配置。
首先在haproxy的配置文件中开启"stats socket"状态信息，以下：
global stats socket /var/run/haproxy.sock mode 600 level admin stats timeout 2m
默认stats timeout的过时时长为10s，建议设置长一点。上面还设置了socket的权限级别，表示能访问(600)这个套接字的人具备全部权限(admin)。level还有两种权限级别更低一点的值"read"和"operator"(默认)，前者表示只有读取信息的权限，不能设置或删除、清空某些信息，后者表示具有读和某些设置权限。
本地套接字监听haproxy后，能够经过"socat"工具(socket cat，很强大的工具，在epel源中提供)从套接字来操做haproxy。
# 方式一：直接传递要执行的操做给套接字 echo "help" | socat unix:/var/run/haproxy.sock - # 方式二：进入交互式模式，而后在交互式模式下执行相关操做 socat readline unix:/var/run/haproxy.sock
若是要监控某些状态信息的实时变化，可使用watch命令。
watch -n 1 '"echo show table" | socat unix:/var/run/haproxy.sock -'
haproxy支持如下列出的全部操做命令：
[root@xuexi ~]# echo "help" | socat unix:/var/run/haproxy.sock - help : this message prompt : toggle interactive mode with prompt quit : disconnect show tls-keys [id|*]: show tls keys references or dump tls ticket keys when id specified set ssl tls-key [id|keyfile] <tlskey>: set the next TLS key for the <id> or <keyfile> listener to <tlskey> set maxconn global : change the per-process maxconn setting set rate-limit : change a rate limiting value set timeout : change a timeout setting show env [var] : dump environment variables known to the process show resolvers [id]: dumps counters from all resolvers section and associated name servers add acl : add acl entry clear acl <id> : clear the content of this acl del acl : delete acl entry get acl : report the patterns matching a sample for an ACL show acl [id] : report available acls or dump an acl's contents add map : add map entry clear map <id> : clear the content of this map del map : delete map entry get map : report the keys and values matching a sample for a map set map : modify map entry show map [id] : report available maps or dump a map's contents show pools : report information about the memory pools usage show sess [id] : report the list of current sessions or dump this session shutdown session : kill a specific session shutdown sessions server : kill sessions on a server clear counters : clear max statistics counters (add 'all' for all counters) show info : report information about the running process show stat : report counters for each proxy and server show errors : report last request and response errors for each proxy clear table : remove an entry from a table set table [id] : update or create a table entry's data show table [id]: report table usage stats or dump this table's contents disable frontend : temporarily disable specific frontend enable frontend : re-enable specific frontend set maxconn frontend : change a frontend's maxconn setting show servers state [id]: dump volatile server information (for backend <id>) show backend : list backends in the current running config shutdown frontend : stop a specific frontend disable agent : disable agent checks (use 'set server' instead) disable health : disable health checks (use 'set server' instead) disable server : disable a server for maintenance (use 'set server' instead) enable agent : enable agent checks (use 'set server' instead) enable health : enable health checks (use 'set server' instead) enable server : enable a disabled server (use 'set server' instead) set maxconn server : change a server's maxconn setting set server : change a server's state, weight or address get weight : report a server's current weight set weight : change a server's weight (deprecated)
其中和stick table相关的命令有：
clear table : remove an entry from a table
set table [id] : update or create a table entry's data show table [id]: report table usage stats or dump this table's contents
例如：
# on haproxy backend static_group stick-table type ip size 5k expire 1m backend dynamic_group stick-table type ip size 5k expire 1m [root@xuexi ~]# echo "show table" | socat unix:/var/run/haproxy.sock - # table: static_group, type: ip, size:5120, used:0 # table: dynamic_group, type: ip, size:5120, used:0
本文只是引入stats socket的操做方式，至于各命令的做用，参见官方手册：http://cbonte.github.io/haproxy-dconv/1.7/management.html#9.3
2.3 使用客户端源IP做为客户端标识符
配置文件部份内容以下：
frontend http-in
bind *:80
mode http
log global
acl url_static path_beg -i /static /images /stylesheets
acl url_static path_end -i .jpg .jpeg .gif .png .ico .bmp .html
use_backend static_group if url_static
default_backend dynamic_group
backend dynamic_group
stick-table type ip size 5k expire 1m
stick on src
balance roundrobin
option http-server-close
option httpchk GET /index.php
http-check expect status 200 server app1 192.168.100.60:80 check rise 1 maxconn 3000 server app2 192.168.100.61:80 check rise 1 maxconn 3000 backend static_group stick-table type ip size 5k expire 1m stick on src balance roundrobin option http-keep-alive http-reuse safe option httpchk GET /index.html http-check expect status 200 server staticsrv1 192.168.100.62:80 check rise 1 maxconn 5000 server staticsrv2 192.168.100.63:80 check rise 1 maxconn 5000
上面的配置中，设置了acl，当知足静态访问时，使用static_group后端组，不然使用dynamic_group后端组。在两个后端组中，都设置了stick-table和stick on，其中stick on是存储指定内容，并在请求到达时匹配该内容，它的具体用法见后文。只有配置了stick on后，haproxy才能根据匹配的结果决定是否存储到stick table中，以及如何筛选待分派的后端。
总之，上面的两个后端组都已经指定了要向stick table中存储源ip地址做为key。当客户端请求到达时，haproxy根据调度算法分配一个后端，但请求交给后端成功后，Haproxy当即向stick table表中插入一条stickiness记录。当客户端请求再次到达时，haproxy发现能匹配源ip，因而按照该stickiness记录，将请求分配给对应的后端。
如下是分别使用两台机器测试192.168.100.59/index.html和192.168.100.59/index.php后，stick table记录的数据。
[root@xuexi ~]# echo "show table static_group" | socat unix:/var/run/haproxy.sock - # table: static_group, type: ip, size:5120, used:2 0x1bc0024: key=192.168.100.1 use=0 exp=48013 server_id=2 0x1bbec14: key=192.168.100.59 use=0 exp=27994 server_id=1 [root@xuexi ~]# echo "show table dynamic_group" | socat unix:/var/run/haproxy.sock - # table: dynamic_group, type: ip, size:5120, used:2 0x1bc00c4: key=192.168.100.1 use=0 exp=53686 server_id=2 0x1bbeb04: key=192.168.100.59 use=0 exp=34309 server_id=1
其中server_id默认是从1自增的，它能够在server指令中用"id"选项进行显式指定。例如：
server staticsrv1 192.168.100.62:80 id 111 check rise 1 max conn 6500
若是，在使用stickiness的同时，haproxy还设置了cookie，谁的优先级高呢？
2.4 使用cookie做为客户端标识符
通常会话保持考虑的对象是应用程序服务器，所以此处咱们忽略后端的静态服务器，只考虑php应用服务器。在dynamic_group两个后端server app1和app2的index.php中分别设置好PHPSESSID做为测试。例如：
<h1>response from webapp 192.168.100.60</h1> <?php session_start(); echo "Server IP: "."<font color=red>".$_SERVER['SERVER_ADDR']."</font>"."<br>"; echo "Server Name: "."<font color=red>".$_SERVER['SERVER_NAME']."</font>"."<br>"; echo "SESSIONNAME: "."<font color=red>".session_name()."</font>"."<br>"; echo "SESSIONID: "."<font color=red>".session_id()."</font>"."<br>"; ?>
cookie是string的一种特殊状况，所以建立stick table时，指定type为string。如下是在haproxy上的配置：
backend dynamic_group
stick-table type string len 32 size 5k expire 2m
stick on req.cook(PHPSESSID)
stick store-response res.cook(PHPSESSID)
balance roundrobin
option http-server-close
option httpchk GET /index.php
http-check expect status 200 server app1 192.168.100.60:80 check rise 1 maxconn 3000 server app2 192.168.100.61:80 check rise 1 maxconn 3000
stick store-response指令表示从响应报文中匹配某些数据出来，而后存储到stick table中，此处表示截取响应报文中"Set-Cookie"字段中名为"PHPSESSID"的cookie名进行存储。stick on req.cook(PHPSESSID)表示从请求报文的"Cookie"字段中匹配名为PHPSESSID的cookie。若是能和存储在stick table中的PHPSESSID匹配成功，则表示该客户端被处理过，因而将其引导到对应的后端服务器上。严格地说，这里不是识别客户端，而是经过PHPSESSID来识别后端。
某次浏览器的请求获得以下结果：以后每次请求也都是分配到192.168.100.61上。注意，不要使用curl命令来测试，由于这里是根据PHPSESSID匹配的，curl每次接收到响应后进程就直接退出了，没法缓存cookie，所以curl每次请求都至关于一次新请求。
在haproxy上查看stick table。
[root@xuexi ~]# echo "show table dynamic_group" | socat unix:/var/run/haproxy.sock - # table: dynamic_group, type: string, size:5120, used:1 0x12163d4: key=g5ossskspc96aecp4hvmsehoh4 use=0 exp=50770 server_id=2
2.5 使用string做为客户端标识符
上面的cookie是string的一种特殊用法。使用string筛选内容进行存储，灵活性很是大，能够经过它实现某些复杂、特殊的需求。
例如，从请求报文中截取Host字段的值做为key存储起来。
backend dynamic_group
stick-table type string size 5k expire 2m
stick on req.hdr(Host)
balance roundrobin
option http-server-close
option httpchk GET /index.php
http-check expect status 200 server app1 192.168.100.60:80 check rise 1 maxconn 3000 server app2 192.168.100.61:80 check rise 1 maxconn 3000
找一台linux客户端使用curl进行测试，发现全部请求都将引导到同义后端服务器上。
[root@xuexi ~]# for i in `seq 1 5`;do grep "response" <(curl 192.168.100.59/index.php 2>/dev/null);done <h1>response from webapp 192.168.100.60</h1> <h1>response from webapp 192.168.100.60</h1> <h1>response from webapp 192.168.100.60</h1> <h1>response from webapp 192.168.100.60</h1> <h1>response from webapp 192.168.100.60</h1>
查看stick table也只能看到一条记录，并且其key部分正是捕获到的Host字段的值。
[root@xuexi ~]# echo "show table dynamic_group" | socat unix:/var/run/haproxy.sock - # table: dynamic_group, type: string, size:5120, used:1 0xf0d904: key=192.168.100.19 use=0 exp=46308 server_id=1
2.6 stick on、stick match、stick store
在前面haproxy的配置中出现过stick on和stick store-response，除此以外，还有两个指令stick match、stick store-request。语法以下：
stick store-request <pattern> [table <table>] [{if | unless} <condition>] stick store-response <pattern> [table <table>] [{if | unless} <condition>] stick match <pattern> [table <table>] [{if | unless} <cond>] stick on <pattern> [table <table>] [{if | unless} <condition>]
其中stick store指令是从请求或响应报文中截取一部分字符串出来，并将其做为stickiness的key存储到stick table中。例如：
# 截取响应报文中名为PHPSESSID的cookie做为key stick store-response res.cook(PHPSESSID) # 截取请求报文中Host字段的值做为key stick store-request req.hdr(Host) # 对请求的源ip地址进行匹配，若不是兄弟网络中的主机时，就写入stick table中，且该table名为dynamic_group stick store-request src table dynamic_group if !my_brother
stick match是将请求报文中的指定部分和stick table中的记录进行匹配。例如：
# 截取请求报文中名为PHPSESSID的cookie，去stick table中搜索是否存在对应的记录 stick match req.cook(PHPSESSID) # 当源IP不是本机时，去dynamic_group表中搜索是否有能匹配到源IP地址的记录 stick match src table dynamic_group if !localhost
stick on等价于stick store+stick match，是它们的简化写法。例如：
# 存储并匹配源IP地址 stick on src #1 = #2 + #3 stick match src #2 stick store-request src #3 # 存储并匹配源IP地址 stick on src table dynamic_group if !localhost #1 = #2 + #3 stick match src table dynamic_group if !localhost #2 stick store-request src table dynamic_group if !localhost #3 # 存储并匹配后端服务器设置的PHPSESSID stick on req.cook(PHPSESSID) #1 +#2 = #3 + #4 stick store-response res.cook(PHPSESSID) #2 stick match req.cook(PHPSESSID) #3 stick store-response res.cook(PHPSESSID) #4
2.7 使用stick table统计状态信息
stick table除了存储基本的粘性信息，还能存储额外的统计数据，这实际上是haproxy提供的一种"采样调查"功能。它能采集的数据种类有如下几种：
每一个stickiness记录中能够同时存储多个记录类型，使用逗号分隔或屡次使用store关键字便可。但注意，后端服务器的server id会自动记录，其它全部额外信息都须要显式指定。
须要注意，每一个haproxy后端组只能有一张stick table，但却不建议统计太多额外的状态信息，由于每多存一个类型，意味着使用更多的内存。
若是存储全部上述列出的数据类型，须要116字节，100W条记录要用116M，这不是能够忽略的大小。此外还有50M的key，共166M。
例以下面的示例中，使用了通用计数器累计，并记录了每30秒内的平均链接速率。
stick-table type ip size 1m expire 5m store gpc0,conn_rate(30s)