B6-Haproxy 与 KeepAlive

时间 2019-11-24

原文原文链接

B6-Haproxy 与 KeepAlive
php

1. Haproxy 与 KeepAlive
2. KeepAlive的原理
3. 影响 Haproxy Keepalive的参数
4. 测试 Haproxy keepalive
5. HTTP协议的头部字段

1. Haproxy 与 KeepAlive
KeepAlive 就是一般所称的长链接,KeepAlive带来的好处是能够减小tcp链接的开销,这对于短response body的请求效果更加明显,同时能够为采用HTTP协议的交互式应用提供良好的session支持,Hapxoxy做为一款开源的LoadBalance,老版本不能支持KeepAlive,不过自从1.4.dev5开始支持Client端的KeepAlive。

2. KeepAlive的原理 css

HTTP1.0和HTTP1.1协议中都有对KeepAlive的支持,其中HTTP1.0须要在request中增长"Connection: keep-alive" header才可以支持,而HTTP1.1默认支持。html

HTTP1.0 KeepAlive支持的数据交互流程以下:
a)Client发出request,其中该request的HTTP版本号为1.0,同时在request中包含一个header:"Connection: keep-alive"。
b)Web Server收到request中的HTTP协议为1.0及"Connection: keep-alive"就认为是一个长链接请求,其将在response的header中也增长"Connection: keep-alive",同时不会关闭已创建的tcp链接。
c)Client收到Web Server的response中包含"Connection: keep-alive",就认为是一个长链接不close tcp链接,并用该tcp链接再发送request。(跳转到a)

HTTP1.1 KeepAlive支持的数据交互流程以下:
a)Client发出request,其中该request的HTTP版本号为1.1。
b)Web Server收到request中的HTTP协议为1.1就认为是一个长链接请求,其将在response的header中也增长"Connection: keep-alive"。同时不会关闭已创建的tcp链接。
c)Client收到Web Server的response中包含"Connection: keep-alive",就认为是一个长链接,不close tcp链接,并用该tcp链接再发送request。(跳转到a)

3. 影响 Haproxy Keepalive的参数

[no]option httpclose
Enable or disable passive HTTP connection closing
May be used in sections: defaults | frontend | listen | backend
                            yes   |    yes   |   yes |   yes
Arguments : none
默认的,客户端与服务端的通信,HAProxy只作分析、日志和分析每一个链接的第一个request;
若是设置了 "option httpclose",则会检查双向的http头是否有"Connection: close",若是没有则自动添加;
以保证每一个客户端或服务端在每次传输后,都会主动关闭TCP链接,使HTTP传输处于HTTP close模式下;
任何 "Connection" 头若是不是"close"都会被移除。

不多会有服务器不正确的忽略掉头,即便收到"Connection: close"也不关闭链接,不然就是不兼容HTTP 1.0浏览器标准;
若是发生这种状况,能够使用"option forceclose",在服务端响应后主动关闭请求链接;
选项 "forceclose"还能够及早释放服务链接,而没必要等到客户端的应答确认。

这个选项能够设置在frontend或backend上,只要其上能够创建链接,若是同时设置了"option forceclose",那么它比"httpclose"优先;
若是同时设置了 "option http-server-close",则会实现"option forceclose"的效果。

[no]option forceclose
Enable or disable active connection closing after response is transferred.
May be used in sections :   defaults | frontend | listen | backend
                               yes   |    yes   |   yes |   yes
Arguments : none
有的HTTP服务器收到"option httpclose"设置的"Connection: close",也不会关闭链接,若是客户端也不关闭,链接会一直打开,直到超时;
这会形成服务器上同一时段内的大量链接,日志中也会显示较高的全局会话时间;
此时,能够使用 "option forceclose",当完成响应时当即关闭对外的服务通道，该选项隐式打开httpclose选项;
须要注意,该选项容许解析完整的request 和 response,因此能够很快关闭至服务器的链接,比httpclose更早释放一些资源;
若是同时启用了"option http-pretend-keepalive",虽然会禁止发送 "Connection: close"头,可是依然会在整个response被接收后,关闭链接。

[no]option http-server-close
Enable or disable HTTP connection closing on the server side 启用或禁止关闭服务端的HTTP链接
May be used in sections :   defaults | frontend | listen | backend
                               yes   |    yes   |   yes |   yes
Arguments : none
该选项设置server端为HTTP链接关闭模式,并支持客户端为HTTP keep-alive的pipelining模式;
提供了最低的客户端延迟和最快的服务端会话重用,以节省服务资源,相似"option forceclose";
还容许无keepalive能力的服务端在keep-alive模式下为客户端提供服务,可是须要符合 RFC2616;
须要注意的是,有些服务器遇到"Connection: close" 时并不老是执行关闭,那么keep-alive 则没法使用;
解决方法是启用 "option http-pretend-keepalive".

keep-alive request time 存活请求时间为超时时间,绑定 "timeout http-keep-alive" 或 "timeout http-request"的设置。
这个操做能够设置在frontend或backend上,只要其上能够创建链接,须要注意的是这个选项能够与 "option httpclose"结合;
但 "option httpclose"优先级更高,结合后基本实现了forceclose的效果。

[no]option http-pretend-keepalive
Define whether haproxy will announce keepalive to the server or not
May be used in sections :   defaults | frontend | listen | backend
                               yes   |    yes   |   yes |   yes
Arguments : none
当声明了 "option http-server-close" 或 "option forceclose", haproxy会在给server的request头中添加 "Connection: close";
然而有些服务器看到这个头,会返回未知长度的response,并自动避免chunked encoding,其实这是不对的;
它会阻止haproxy保持客户端长链接,还会使客户端或缓存接收了未完成的响应,却认为响应结束了;
设置 "option http-pretend-keepalive", haproxy会在服务器端保持长链接,服务端则不会出现前面的问题;
当haproxy获取了完整的response, 才会以相似forceclose的方式关闭服务端,这样客户端获得一个普通的响应,链接也在服务端被正常关闭;
建议不将其设为默认值,由于大部分服务器会在发送完最后一个包以后更高效的关闭链接,并释放缓存;
并且网络上的数据包也会略微下降总体的峰值性能,可是启用该选项,haproxy会略微少作一些工做;
因此若是haproxy在整个架构中是个瓶颈,能够启用该操做,以节省CPU;
这个选项能够设置在frontend或backend上,只要其上能够创建链接;
这个选项能够与 "option httpclose"结合, 使服务端keepalive,客户端close,但并不建议这样作。

在默认的状况下haproxy与客户端和服务端都是会话保持的了。若是有用户A、B同时
访问代理服务器，那么极可能只有第一个用户的header会被发给服务器。能够参考以下模型

4. 测试 Haproxy keepalive
注意:假如请求的url，包含1个css 和1个png
4.1 haproxy 代码linux

  
  
  
  
   
   
   
   option httpclose

  
  
  
  
   
   
   
   option http-server-close

http://blog.test.com/
请求头信息
GET / HTTP/1.1
Host: blog.test.com
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:14.0) Gecko/20100101 Firefox/14.0.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Connection: keep-alive

响应头信息
HTTP/1.1 200 OK
Server: nginx
Date: Fri, 02 Nov 2012 05:24:30 GMT
Content-Type: text/html; charset=UTF-8
Transfer-Encoding: chunked
Vary: Accept-Encoding
X-Powered-By: PHP/5.3.6
X-Pingback: http://blog.test.com/xmlrpc.php
Content-Encoding: gzip
Set-Cookie: SERVERID=blog01; path=/

http://blog.test.com/wp-content/themes/twentyeleven/style.css
请求头信息
GET /wp-content/themes/twentyeleven/style.css HTTP/1.1
Host: blog.test.com
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:14.0) Gecko/20100101 Firefox/14.0.1
Accept: text/css,*/*;q=0.1
Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Connection: keep-alive
Referer: http://blog.test.com/
Cookie: SERVERID=blog01

响应头信息
HTTP/1.1 200 OK
Server: nginx
Date: Fri, 02 Nov 2012 05:24:30 GMT
Content-Type: text/css
Last-Modified: Wed, 18 Jul 2012 03:25:51 GMT
Transfer-Encoding: chunked
Vary: Accept-Encoding
Expires: Fri, 02 Nov 2012 06:24:30 GMT
Cache-Control: max-age=3600
Content-Encoding: gzip

http://blog.test.com/wp-content/themes/twentyeleven/p_w_picpaths/headers/pine-cone.jpg
请求头信息
GET /wp-content/themes/twentyeleven/p_w_picpaths/headers/pine-cone.jpg HTTP/1.1
Host: blog.test.com
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:14.0) Gecko/20100101 Firefox/14.0.1
Accept: p_w_picpath/png,p_w_picpath/*;q=0.8,*/*;q=0.5
Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Connection: keep-alive
Referer: http://blog.test.com/
Cookie: SERVERID=blog01

响应头信息
HTTP/1.1 200 OK
Server: nginx
Date: Fri, 02 Nov 2012 05:24:30 GMT
Content-Type: p_w_picpath/jpeg
Content-Length: 39112
Last-Modified: Wed, 18 Jul 2012 03:25:51 GMT
Expires: Thu, 29 Aug 2013 05:24:30 GMT
Cache-Control: max-age=25920000
Accept-Ranges: bytes

注意:对比能够发现，变动为 http-server-close 参数后，响应头信息没有Connection: close 字段

5. HTTP协议的头部字段
Accept：告诉WEB服务器本身接受什么介质类型，*/* 表示任何类型，type/* 表示该类型下的全部子类型，type/sub-type。
Accept-Charset：浏览器申明本身接收的字符集
Accept-Encoding：浏览器申明本身接收的编码方法，一般指定压缩方法，是否支持压缩，支持什么压缩方法（gzip，deflate）
Accept-Language：浏览器申明本身接收的语言(语言跟字符集的区别：中文是语言，中文有多种字符集，好比big5，gb2312，gbk等等)
Accept-Ranges：WEB服务器代表本身是否接受获取其某个实体的一部分（好比文件的一部分）的请求。bytes：表示接受，none：表示不接受。
Age：当代理服务器用本身缓存的实体去响应请求时，用该头部代表该实体从产生到如今通过多长时间了。
Authorization：当客户端接收到来自WEB服务器的 WWW-Authenticate 响应时，用该头部来回应本身的身份验证信息给WEB服务器。
Cache-Control：
    请求：
    no-cache（不要缓存的实体，要求如今从WEB服务器去取）
    max-age（只接受 Age 值小于 max-age 值，而且没有过时的对象）
    max-stale：（能够接受过去的对象，可是过时时间必须小于 max-stale 值）
    min-fresh：（接受其新鲜生命期大于其当前 Age 跟 min-fresh 值之和的缓存对象）
    响应：
    public(能够用 Cached 内容回应任何用户)
    private（只能用缓存内容回应先前请求该内容的那个用户）
    no-cache（能够缓存，可是只有在跟WEB服务器验证了其有效后，才能返回给客户端）
    max-age：（本响应包含的对象的过时时间）
    ALL: no-store（不容许缓存）
Connection：
    请求：
    close（告诉WEB服务器或者代理服务器，在完成本次请求的响应后，断开链接，不要等待本次链接的后续请求了）。
    keepalive（告诉WEB服务器或者代理服务器，在完成本次请求的响应后，保持链接，等待本次链接的后续请求）。
    响应：
    close（链接已经关闭）。
    keepalive（链接保持着，在等待本次链接的后续请求）。
    Keep-Alive：若是浏览器请求保持链接，则该头部代表但愿 WEB 服务器保持链接多长时间（秒）。例如：Keep-Alive：300
Content-Encoding：WEB服务器代表本身使用了什么压缩方法（gzip，deflate）压缩响应中的对象。例如：Content-Encoding：gzip
Content-Language：WEB 服务器告诉浏览器本身响应的对象的语言。
Content-Length： WEB 服务器告诉浏览器本身响应的对象的长度。例如：Content-Length: 26012
Content-Range： WEB 服务器代表该响应包含的部分对象为整个对象的哪一个部分。例如：Content-Range: bytes 21010-47021/47022
Content-Type： WEB 服务器告诉浏览器本身响应的对象的类型。例如：Content-Type：application/xml
ETag：就是一个对象（好比URL）的标志值，就一个对象而言，好比一个 html 文件，若是被修改了其 Etag 也会别修改;
      因此ETag 的做用跟 Last-Modified 的做用差很少，主要供 WEB 服务器判断一个对象是否改变了;
      好比前一次请求某个 html 文件时，得到了其 ETag，当此次又请求这个文件时，浏览器就会把先前得到的 ETag 值发送给WEB 服务器;
      而后 WEB 服务器会把这个 ETag 跟该文件的当前 ETag 进行对比，而后就知道这个文件有没有改变了。
Expired：WEB服务器代表该实体将在何时过时，对于过时了的对象，只有在跟WEB服务器验证了其有效性后，才能用来响应客户请求。
         是 HTTP/1.0 的头部。例如：Expires：Sat, 23 May 2009 10:02:12 GMT
Host：客户端指定本身想访问的WEB服务器的域名/IP 地址和端口号。例如：Host：rss.sina.com.cn
If-Match：若是对象的 ETag 没有改变，其实也就意味著对象没有改变，才执行请求的动做。
If-None-Match：若是对象的 ETag 改变了，其实也就意味著对象也改变了，才执行请求的动做。
If-Modified-Since：若是请求的对象在该头部指定的时间以后修改了，才执行请求的动做（好比返回对象），不然返回代码304，告诉浏览器该对象没有修改。
If-Unmodified-Since：若是请求的对象在该头部指定的时间以后没修改过，才执行请求的动做（好比返回对象）。
If-Range：浏览器告诉 WEB 服务器，若是我请求的对象没有改变，就把我缺乏的部分给我，若是对象改变了，就把整个对象给我。
          浏览器经过发送请求对象的 ETag 或者本身所知道的最后修改时间给 WEB 服务器，让其判断对象是否改变了。老是跟 Range 头部一块儿使用。
Last-Modified：WEB 服务器认为对象的最后修改时间，好比文件的最后修改时间，动态页面的最后产生时间等等。
Location：WEB 服务器告诉浏览器，试图访问的对象已经被移到别的位置了，到该头部指定的位置去取。
Pramga：主要使用 Pramga: no-cache，至关于 Cache-Control： no-cache。例如：Pragma：no-cache
Proxy-Authenticate：代理服务器响应浏览器，要求其提供代理身份验证信息。
Proxy-Authorization：浏览器响应代理服务器的身份验证请求，提供本身的身份信息。
Range：浏览器（好比 Flashget 多线程下载时）告诉 WEB 服务器本身想取对象的哪部分。例如：Range: bytes=1173546-
Referer：浏览器向 WEB 服务器代表本身是从哪一个网页/URL 得到/点击当前请求中的网址/URL。例如：Referer：http://www.sina.com/
Server:WEB 服务器代表本身是什么软件及版本等信息。例如：Server：Apache/2.0.61 (Unix)
User-Agent:浏览器代表本身的身份（是哪一种浏览器）。
Transfer-Encoding: WEB 服务器代表本身对本响应消息体（不是消息体里面的对象）做了怎样的编码，好比是否分块（chunked）。
Vary:WEB服务器用该头部的内容告诉 Cache 服务器，在什么条件下才能用本响应所返回的对象响应后续的请求。
     假如源WEB服务器在接到第一个请求消息时，其响应消息的头部为：Content- Encoding: gzip; Vary: Content-Encoding;
     那么 Cache 服务器会分析后续请求消息的头部，检查其 Accept-Encoding，是否跟先前响应的 Vary 头部值一致,便是否使用相同的内容编码方法;
     这样就能够防止 Cache 服务器用本身 Cache 里面压缩后的实体响应给不具有解压能力的浏览器。例如：Vary：Accept-Encoding
Via：列出从客户端到 OCS 或者相反方向的响应通过了哪些代理服务器，他们用什么协议（和版本）发送的请求;
     当客户端请求到达第一个代理服务器时，该服务器会在本身发出的请求里面添加 Via 头部，并填上本身的相关信息;
     当下一个代理服务器收到第一个代理服务器的请求时，会在本身发出的请求里面复制前一个代理服务器的请求的Via 头部;
     并把本身的相关信息加到后面，以此类推，当 OCS 收到最后一个代理服务器的请求时，检查 Via 头部，就知道该请求所通过的路由;
     例如：Via：1.0 236.D0707195.sina.com.cn:80 (squid/2.6.STABLE13)

附上：HTTP 1.1状态代码及其含义
状态代码状态信息含义
100 Continue 初始的请求已经接受，客户应当继续发送请求的其他部分。（HTTP 1.1新）
101 Switching Protocols 服务器将听从客户的请求转换到另一种协议（HTTP 1.1新）
200 OK 一切正常，对GET和POST请求的应答文档跟在后面。
201 Created   服务器已经建立了文档，Location头给出了它的URL。
202 Accepted 已经接受请求，但处理还没有完成。
203 Non-Authoritative Information 文档已经正常地返回，但一些应答头可能不正确，由于使用的是文档的拷贝（HTTP 1.1新）。
204 No Content     没有新文档，浏览器应该继续显示原来的文档。若是用户按期地刷新页面，而Servlet能够肯定用户文档足够新，这个状态代码是颇有用的。
205 Reset Content 没有新的内容，但浏览器应该重置它所显示的内容。用来强制浏览器清除表单输入内容（HTTP 1.1新）。
206 Partial Content   客户发送了一个带有Range头的GET请求，服务器完成了它（HTTP 1.1新）。
300 Multiple Choices 客户请求的文档能够在多个位置找到，这些位置已经在返回的文档内列出。若是服务器要提出优先选择，则应该在Location应答头指明。
301 Moved Permanently 客户请求的文档在其余地方，新的URL在Location头中给出，浏览器应该自动地访问新的URL。
302 Found 相似于301，但新的URL应该被视为临时性的替代，而不是永久性的。注意，在HTTP1.0中对应的状态信息是“Moved Temporatily”。
            出现该状态代码时，浏览器可以自动访问新的URL，所以它是一个颇有用的状态代码。
            注意这个状态代码有时候能够和301替换使用。例如，若是浏览器错误地请求http://host/~user（缺乏了后面的斜杠）;
            有的服务器返回301，有的则返回302。严格地说，咱们只能假定只有当原来的请求是GET时浏览器才会自动重定向。请参见307。
303 See Other     相似于301/302，不一样之处在于，若是原来的请求是POST，Location头指定的重定向目标文档应该经过GET提取（HTTP 1.1新）。
304 Not Modified 客户端有缓冲的文档并发出了一个条件性的请求（通常是提供If-Modified-Since头表示客户只想比指定日期更新的文档）。
                   服务器告诉客户，原来缓冲的文档还能够继续使用。
305 Use Proxy     客户请求的文档应该经过Location头所指明的代理服务器提取（HTTP 1.1新）。
307 Temporary Redirect 和302（Found）相同。许多浏览器会错误地响应302应答进行重定向，即便原来的请求是POST;
                         即便它实际上只能在POST请求的应答是303时才能重定向。因为这个缘由，HTTP 1.1新增了307;
                         以便更加清除地区分几个状态代码：当出现303应答时，浏览器能够跟随重定向的GET和POST请求；
                         若是是307应答，则浏览器只能跟随对GET请求的重定向。（HTTP 1.1新）
400 Bad Request 请求出现语法错误。
401 Unauthorized 客户试图未经受权访问受密码保护的页面。应答中会包含一个WWW-Authenticate头，浏览器据此显示用户名字/密码对话框;
                  而后在填写合适的Authorization头后再次发出请求。
403 Forbidden 资源不可用。服务器理解客户的请求，但拒绝处理它。一般因为服务器上文件或目录的权限设置致使。
404 Not Found 没法找到指定位置的资源。这也是一个经常使用的应答。
405 Method Not Allowed 请求方法（GET、POST、HEAD、DELETE、PUT、TRACE等）对指定的资源不适用。（HTTP 1.1新）
406 Not Acceptable 指定的资源已经找到，但它的MIME类型和客户在Accpet头中所指定的不兼容（HTTP 1.1新）。
407 Proxy Authentication Required 相似于401，表示客户必须先通过代理服务器的受权。（HTTP 1.1新）
408 Request Timeout 在服务器许可的等待时间内，客户一直没有发出任何请求。客户能够在之后重复同一请求。（HTTP 1.1新）
409 Conflict 一般和PUT请求有关。因为请求和资源的当前状态相冲突，所以请求不能成功。（HTTP 1.1新）
410 Gone 所请求的文档已经再也不可用，并且服务器不知道应该重定向到哪个地址。它和404的不一样在于，返回407表示文档永久地离开了指定的位置;
           而404表示因为未知的缘由文档不可用。（HTTP 1.1新）
411 Length Required 服务器不能处理请求，除非客户发送一个Content-Length头。（HTTP 1.1新）
412 Precondition Failed 请求头中指定的一些前提条件失败（HTTP 1.1新）。
413 Request Entity Too Large 目标文档的大小超过服务器当前愿意处理的大小。若是服务器认为本身可以稍后再处理该请求;
                               则应该提供一个Retry-After头（HTTP 1.1新）。
414 Request URI Too Long URI太长（HTTP 1.1新）。
416 Requested Range Not Satisfiable 服务器不能知足客户在请求中指定的Range头。（HTTP 1.1新）
500 Internal Server Error 服务器遇到了意料不到的状况，不能完成客户的请求。
501 Not Implemented 服务器不支持实现请求所须要的功能。例如，客户发出了一个服务器不支持的PUT请求。
502 Bad Gateway 服务器做为网关或者代理时，为了完成请求访问下一个服务器，但该服务器返回了非法的应答。
503 Service Unavailable 服务器因为维护或者负载太重未能应答。例如，Servlet可能在数据库链接池已满的状况下返回503。
                          服务器返回503时能够提供一个Retry-After头。
504 Gateway Timeout 由做为代理或网关的服务器使用，表示不能及时地从远程服务器得到应答。（HTTP 1.1新）
505 HTTP Version Not Supported 服务器不支持请求中所指明的HTTP版本。（HTTP 1.1新）

参考
nginx与haproxy负载均衡时处理keepalive与X-Forwarded-For的问题
http://blog.chinaunix.net/uid-20553497-id-3071866.html

HAproxy Client KeepAlive
http://blog.chinaunix.net/uid-10249062-id-163269.html

Haproxy参数配置
http://blog.163.com/guixl_001/blog/static/417641042011119115554441/

HAProxy 配置手册 4.2 httpclose 相关
http://hi.baidu.com/maiyudaodao/item/c0bbd98f3b2820c0b17154e7

HTTP协议头部与Keep-Alive模式详解
http://a280606790.iteye.com/blog/1095085

HTTP的请求头标签 If-Modified-Since
http://tech.ddvip.com/2010-03/1269412477148135.html

HTTP 1.1与HTTP 1.0的比较
http://blog.csdn.net/elifefly/article/details/3964766数据库

更多请：
linux 相关 274134275 , 37275208(已满)
vmware 虚拟化相关 166682360浏览器

1. HTTPkeep-alive与TCP keepalive
2. keepalive
3. KeepAlive
4. keepalive+lvs，keepalive+nginx配置
5. Keepalive + LVS
6. lvs+keepalive
7. keepalive (2)
8. 【总结】Tcp Keepalive 和 HTTP Keepalive 详解
9. nginx + keepalive
10. keepalive+LVS
更多相关文章...
• XSL-FO 与 XSLT - XSL-FO 教程
• PHP - AJAX 与 PHP - PHP教程
• Composer 安装与使用
• Java Agent入门实战（一）-Instrumentation介绍与使用