Haproxy配置文件详解

转帖： http://docs.google.com/Doc?docid=0ActkiVDkvyOuZGhiNHI2cGhfNjNjbTVkczlncg&hl=zh_CN
摘要：HAProxy - 可靠、高性能的TCP/HTTP 负载均衡器. 这个是必学的.

 

++++++++++++++++++++++++++++++++++++
正文
++++++++++++++++++++++++++++++++++++

简介：

　　软件负载均衡通常经过两种方式来实现：基于操做系统的软负载实现和基于第三方应用的软负载实现。LVS就是基于Linux操做系统实现的一种软负载，HAProxy就是开源的而且基于第三应用实现的软负载。

　　HAProxy相比LVS的使用要简单不少，功能方面也很丰富。当前，HAProxy支持两种主要的代理模式:"tcp"也即4层（大多用于邮件服务器、内部协议通讯服务器等），和7层（HTTP）。在4层模式下，HAproxy仅在客户端和服务器之间转发双向流量。7层模式下，HAProxy会分析协议，而且能经过容许、拒绝、交换、增长、修改或者删除请求(request)或者回应(response)里指定内容来控制协议，这种操做要基于特定规则。

　　详情能够在HAProxy官方网站(http://haproxy.1wt.eu)能够下载配置说明文档(configuration.txt)和架构文件(architecture.txt)做为参考。

1. HAProxy的安装

　　在“http://haproxy.1wt.eu/#down”下载HAProxy的源码包。这里以1.3.20版本，安装在目录/home/admin/haproxy为例

解压下载的源码包

　　tar -xzvf haproxy-1.3.20.tar.gz

2．编译安装

　　进入解压后的源码目录

　　make TARGET=linux26 PREFIX=/home/admin/haproxy install

　　（注意，TARGET后面根据本机操做系统内核版原本填写，PREFIX是要安装到的目录）

　　安装完成后会在安装目录下生成doc ，sbin ，share三个文件夹。解压的源码文件也能够删除掉。

3.建立配置文件

在安装目录下创建配置文件目录

mkdir conf

在新建立的目录下建立配置文件

vi haproxy.cfg

在建立的haproxy.cfg文件中填入

global

log 127.0.0.1 local0 info #[err warning info debug]
maxconn 4096
user admin
group admin
daemon
nbproc 1
pidfile /home/admin/haproxy/logs/haproxy.pid
defaults

maxconn 2000

contimeout 5000

clitimeout 30000

srvtimeout 30000

listen admin_stats

bind 0.0.0.0:1080

mode http

log 127.0.0.1 local0 err

stats uri /admin?stats

这个配置是能让HAProxy工做起来的最小配置

4.启动HAProxy

进入安装目录下的sbin目录

启动HAProxy

./haproxy -f ../conf/haproxy.cfg

经过浏览器访问“http://xxx.xxx.xxx.xxx:1080/admin?stats“(xxx为IP),看到管理页面

5.修改haproxy启动文件权限

(若是你是用ROOT用户启动HAProxy，这步能够省略，这个步骤是为了能让非ROOT用户也能经过HAProxy监听80端口，由于LIUNX的80端口必定要使用ROOT帐户启动)

使用root帐户进入sbin目录

更改haproxy的全部者为root

chown root:root haproxy

给haproxy增长S权限

chmod u+s haproxy

6.配置日志

建立日志目录

使用非root帐户这里是admin帐户建立日志文件

mkdir /home/admin/haproxy/logs

修改操做系统的日志配置

HAProxy能够收集本机及其余后端服务器日志，可是须要在HAProxy和操做系统上做一些配置。

使用root帐户首先修改/etc/sysconfig/syslog文件，将SYSLOGD_OPTIONS="-m 0” 修改成SYSLOGD_OPTIONS="-m 0 -r -x"，支持收集远程服务器日志。

而后修改/etc/syslog.conf，增长以下语句：

local0.* /home/admin/haproxy/logs/haproxy.log // haproxy.log地址表明了须要存储日志的地址，其中local0这个级别要和haproxy.cfg配置的log级别同样

执行service syslog restart，从新启动系统日志器

更改日志文件用户

chown admin:admin /home/admin/haproxy/logs/haproxy.log

7.建立启动/中止脚本（若是你认为如今的启动脚本已经够方便了，这步能够省略）

为了方便之后启动或中止，因此编写一个启动脚本

在sbin目录下建立hactl.sh

vi hactl.sh

填入一下内容

#!/bin/sh#

cd `dirname $0`/..

BASE_DIR="`pwd`"

ARGV="$@"

start()

{

echo "START HAPoxy SERVERS"

$BASE_DIR/sbin/haproxy -f $BASE_DIR/conf/haproxy.cfg

}

stop()

{

#haproxy.pid的路径是haproxy.cfg文件中配置的

echo "STOP HAPoxy Listen"

kill -TTOU $(cat $BASE_DIR/logs/haproxy.pid)

echo "STOP HAPoxy process"

kill -USR1 $(cat $BASE_DIR/logs/haproxy.pid)

}

case $ARGV in

start)

start

ERROR=$?

;;

stop)

stop

ERROR=$?

;;

restart)

stop

start

ERROR=$?

;;

*)

echo "hactl.sh [start|restart|stop]"

esac

exit $ERROR

保存后，给hactl.sh增长可执行权限

chmod 755 hactl.sh

这样就可使用./ hactl.sh [start|restart|stop] 的方式启动，关闭，重启了，若是你使用的目录和例子中不同的话，须要本身对应的修改下以上脚本的目录地址

通过以上1-6步骤之后HAProxy的安装已经结束，以后就是详细的配置下haproxy.cfg文件了

2. HAProxy的配置

HAProxy配置中分红五部份内容，固然这些组件不是必选的，能够根据须要选择部分做为配置。

global：参数是进程级的，一般和操做系统（OS）相关。这些参数通常只设置一次，若是配置无误，就不须要再次配置进行修改

defaults：配置默认参数的，这些参数能够被利用配置到frontend，backend，listen组件

frontend：接收请求的前端虚拟节点，Frontend能够根据规则直接指定具体使用后端的 backend(可动态选择)。

backend：后端服务集群的配置，是真实的服务器，一个Backend对应一个或者多个实体服务器。

listen：Frontend和Backend的组合体。

下面是HAProxy的一些经常使用的配置，这个配置是用来讲明HAProxy的一些经常使用功能的配置，具体详细配置请查看安装目录下的doc目录下的文档文件，或者到” http://cn.haproxy.org/”

下载中文配置说明文档

配置文件例子：

global

#全局的日志配置 其中日志级别是[err warning info debug]

#local0 是日志设备，必须为以下24种标准syslog设备的一种:

#kern user mail daemon auth syslog lpr news

#uucp cron auth2 ftp ntp audit alert cron2

#local0 local1 local2 local3 local4 local5 local6 local7

#可是以前在/etc/syslog.conf文件中定义的是local0因此

#这里也是用local0

log 127.0.0.1 local0 info #[err warning info debug]

#最大链接数

maxconn 4096

#用户

user admin

#组

group admin

#使HAProxy进程进入后台运行。这是推荐的运行模式

daemon

#建立4个进程进入deamon模式运行。此参数要求将运行模式设置为"daemon"

nbproc 4

#将全部进程的pid写入文件 启动进程的用户必须有权限访问此文件。

pidfile /home/admin/haproxy/logs/haproxy.pid

defaults

#默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK

mode http

#采用http日志格式

option httplog

#三次链接失败就认为是服务器不可用，也能够经过后面设置

retries 3

若是cookie写入了serverId而客户端不会刷新cookie，

#当serverId对应的服务器挂掉后，强制定向到其余健康的服务器

option redispatch

#当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接

option abortonclose

#默认的最大链接数

maxconn 4096

#链接超时

contimeout 5000

#客户端超时

clitimeout 30000

#服务器超时

srvtimeout 30000

#=心跳检测超时

timeout check 2000

#注：一些参数值为时间，好比说timeout。时间值一般单位为毫秒(ms)，可是也能够经过加#后缀，来使用其余的单位。

#- us : microseconds. 1 microsecond = 1/1000000 second

#- ms : milliseconds. 1 millisecond = 1/1000 second. This is the default.

#- s : seconds. 1s = 1000ms

#- m : minutes. 1m = 60s = 60000ms

#- h : hours. 1h = 60m = 3600s = 3600000ms

#- d : days. 1d = 24h = 1440m = 86400s = 86400000ms

########统计页面配置############

listen admin_stats

#监听端口

bind 0.0.0.0:1080

#http的7层模式

mode http

#日志设置

log 127.0.0.1 local0 err #[err warning info debug]

#统计页面自动刷新时间

stats refresh 30s

#统计页面url

stats uri /admin?stats

#统计页面密码框上提示文本

stats realm Gemini\ Haproxy

#统计页面用户名和密码设置

stats auth admin:admin

stats auth admin1:admin1

#隐藏统计页面上HAProxy的版本信息

stats hide-version

#######网站检测listen定义############

listen site_status

bind 0.0.0.0:1081

mode http

log 127.0.0.1 local0 err #[err warning info debug]

#网站健康检测URL，用来检测HAProxy管理的网站是否能够用，正常返回200，不正常返回500

monitor-uri /site_status

#定义网站down时的策略

#当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true

acl site_dead nbsrv(denali_server) lt 1

acl site_dead nbsrv(tm_server) lt 1

acl site_dead nbsrv(mms_server) lt 1

#当知足策略的时候返回500

monitor fail if site_dead

#若是192.168.0.252或者192.168.0.31这两天机器挂了

#认为网站挂了，这时候返回500，判断标准是若是mode是

#http返回200认为是正常的，若是mode是tcp认为端口畅通是好的

monitor-net 192.168.0.252/31

 

########frontend配置############

frontend http_80_in

#监听端口

bind 0.0.0.0:80

#http的7层模式

mode http

#应用全局的日志配置

log global

#启用http的log

option httplog

#每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式

option httpclose

#若是后端服务器须要得到客户端的真实IP须要配置次参数，将能够从Http Header中

#得到客户端IP

option forwardfor

###########HAProxy的日志记录内容配置##########

capture request header Host len 40

capture request header Content-Length len 10

capture request header Referer len 200

capture response header Server len 40

capture response header Content-Length len 10

capture response header Cache-Control len 8

 

####################acl策略定义#########################

#若是请求的域名知足正则表达式返回true -i是忽略大小写

acl denali_policy hdr_reg(host) -i ^(www.gemini.taobao.net|my.gemini.taobao.net|auction1.gemini.taobao.net)$

#若是请求域名知足trade.gemini.taobao.net 返回 true -i是忽略大小写

acl tm_policy hdr_dom(host) -i trade.gemini.taobao.net

##在请求url中包含sip_apiname=，则此控制策略返回true,不然为false

acl invalid_req url_sub -i sip_apiname=

##在请求url中存在timetask做为部分地址路径，则此控制策略返回true,不然返回false

acl timetask_req url_dir -i timetask

#当请求的header中Content-length等于0时返回 true

acl missing_cl hdr_cnt(Content-length) eq 0

 

######################acl策略匹配相应###################

##当请求中header中Content-length等于0 阻止请求返回403

block if missing_cl

##block表示阻止请求，返回403错误，当前表示若是不知足策略invalid_req，或者知足策略timetask_req，则阻止请求。

block if !invalid_req || timetask_req

#当知足denali_policy的策略时使用denali_server的backend

use_backend denali_server if denali_policy

#当知足tm_policy的策略时使用tm_server的backend

use_backend tm_server if tm_policy

#reqisetbe关键字定义，根据定义的关键字选择backend

reqisetbe ^Host:\ img dynamic

reqisetbe ^[^\ ]*\ /(img|css)/ dynamic

reqisetbe ^[^\ ]*\ /admin/stats stats

#以上都不知足的时候使用默认mms_server的backend

default_backend mms_server

#HAProxy错误页面设置

errorfile 400 /home/admin/haproxy/errorfiles/400.http

errorfile 403 /home/admin/haproxy/errorfiles/403.http

errorfile 408 /home/admin/haproxy/errorfiles/408.http

errorfile 500 /home/admin/haproxy/errorfiles/500.http

errorfile 502 /home/admin/haproxy/errorfiles/502.http

errorfile 503 /home/admin/haproxy/errorfiles/503.http

errorfile 504 /home/admin/haproxy/errorfiles/504.http

##########backend的设置##############

backend mms_server

#http的7层模式

mode http

#负载均衡的方式，roundrobin平均方式

balance roundrobin

#容许插入serverid到cookie中，serverid后面能够定义

cookie SERVERID

#心跳检测的URL,HTTP/1.1¥r¥nHost:XXXX,指定了心跳检测HTTP的版本，XXX为检测时请求

#服务器的request中的域名是什么，这个在应用的检测URL对应的功能有对域名依赖的话须要设置

option httpchk GET /member/login.jhtml HTTP/1.1\r\nHost:member1.gemini.taobao.net

#服务器定义，cookie 1表示serverid为1，check inter 1500 是检测心跳频率

#rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight表明权重

server mms1 10.1.5.134:80 cookie 1 check inter 1500 rise 3 fall 3 weight 1

server mms2 10.1.6.118:80 cookie 2 check inter 1500 rise 3 fall 3 weight 2

backend denali_server

mode http

#负载均衡的方式，source根据客户端IP进行哈希的方式

balance source

#但设置了backup的时候，默认第一个backup会优先，设置option allbackups后

#全部备份服务器权重同样

option allbackups

#心跳检测URL设置

option httpchk GET /mytaobao/home/my_taobao.jhtml HTTP/1.1\r\nHost:my.gemini.taobao.net

#能够根据机器的性能不一样，不使用默认的链接数配置而使用本身的特殊的链接数配置

#如minconn 10 maxconn 20

server denlai1 10.1.5.114:80 minconn 4 maxconn 12 check inter 1500 rise 3 fall 3

server denlai2 10.1.6.104:80 minconn 10 maxconn 20 check inter 1500 rise 3 fall 3

#备份机器配置，正常状况下备机不会使用，当主机的所有服务器都down的时候备备机会启用

server dnali-back1 10.1.7.114:80 check backup inter 1500 rise 3 fall 3

server dnali-back2 10.1.7.114:80 check backup inter 1500 rise 3 fall 3

backend tm_server

mode http

#负载均衡的方式，leastconn根据服务器当前的请求数，取当前请求数最少的服务器

balance leastconn

option httpchk GET /trade/itemlist/prepayCard.htm HTTP/1.1\r\nHost:trade.gemini.taobao.ne

server tm1 10.1.5.115:80 check inter 1500 rise 3 fall 3

server tm2 10.1.6.105:80 check inter 1500 rise 3 fall 3

######reqisetbe自定义关键字匹配backend部分#######################

backend dynamic

mode http

balance source

option httpchk GET /welcome.html HTTP/1.1\r\nHost:www.taobao.net

server denlai1 10.3.5.114:80 check inter 1500 rise 3 fall 3

server denlai2 10.4.6.104:80 check inter 1500 rise 3 fall 3

backend stats

mode http

balance source

option httpchk GET /welcome.html HTTP/1.1\r\nHost:www.taobao.net

server denlai1 10.5.5.114:80 check inter 1500 rise 3 fall 3

server denlai2 10.6.6.104:80 check inter 1500 rise 3 fall 3

3. HA-Proxy的压力测试结果

简单的压力测试采用Apache ab，500并发用户，10w的请求总数。

总耗时(s)

TPS(#/sec)

HA-2Node

21.387

4675.61

HA-5Node

27.371

3653.37

HA-2Node为配置了两个节点做为后段的服务节点，HA-5Node为配置了5个节点做为后端的服务处理节点。上面结果看到2个节点的HA比5个节点的速度来的快。能够肯定的是

HAProxy的性能是跟随backend的数量增长而降低，因此当backend节点过多时能够考虑经过拆分到多台HAProxy来提升性能。