Haproxy和Nginx负载均衡测试效果对比记录

 

为了对比Hproxy和Nginx负载均衡的效果，分别在测试机上（如下实验都是在单机上测试的，即负载机器和后端机器都在一台机器上）作了这两个负载均衡环境，并各自抓包分析。
下面说下这两种负载均衡环境下抓包分析后的结果：

1）Haproxy负载均衡环境下的实验记录。后端有一台机器挂掉后，若是还没达到探测的时间点时，请求还会往挂掉的这台机器转发，请求会丢失。
Haproxy负载均衡的实验记录以下：
1--先看下Haproxy的配置。
  配置inter 20000为20s检测一次，这个是为了更明显的抓下HAProxy的负载均衡探测机制。
  [root@wangshibo ~]# cat /usr/local/haproxy/conf/haproxy.cfg

........
listen test9090
bind 127.0.0.1:9090
mode tcp
server localhost90 127.0.0.1:90 check inter 20000
server localhost91 127.0.0.1:91 check inter 20000

2--后端机器的Nginx的配置
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/test.conf

server {
    listen  90;
    listen  91;
    location /{
      root /var/www/html;
    }
}

先在/var/www/html里建立一个首页index.html文件
[root@wangshibo ~]# echo "this is test" > /var/www/html/index.html
而后测试访问，并在机器上开两个窗口看下抓包是否均衡正常，两个窗口运行的命令分别以下：
[root@wangshibo ~]# curl 127.0.0.1:9090
[root@wangshibo ~]# tcpdump -i lo -nn 'port 90'      
[root@wangshibo ~]# tcpdump -i lo -nn 'port 91'

上面抓包的截图证实Nginx监听的90和91端口都有在监听。使用抓包来检测比看日志来更细点，因此仍是用抓包来分析了。

3--抓包查看HAProxy的健康检测机制
由于前面haproxy里配置了inter 20000，也就是告诉HAProxy 20s检测一次，抓包查看也是20s检查一下。
注意：这个检测是在客户端无任务请求的时候进行探测的，也就是处理请求跟探测是分开的。

4--模拟线上故障，Nginx挂掉91端口
把listen  91这个Nginx的配置去除，而后reload nginx，会发现前端的请求若是分发到91端口的话，就会挂掉，经抓包发现HAProxy须要探测三次才会把故障的给切下线。咱们配置的是20s探测一次，也是最长可能得探测60s才能把故障的切除掉。若是这60s内有1w请求的话，那就会丢掉5k个。若是用在线上的话，探测机制确定不会是20s一次，通常最多3s会切换掉。

2）Nginx负载均衡环境下的实验记录

1--Nginx的反向代理负载均衡配置，以下：
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/LB.conf

upstream backend {   
    server 127.0.0.1:90 weight=1 max_fails=3 fail_timeout=30;
    server 127.0.0.1:91 weight=5 max_fails=3 fail_timeout=30;        
    }

server {
     listen 9090;
     location / {
     proxy_pass http://backend;
     }        
    }

前端仍是使用9090来监听，把请求转发到90和91端口。
2--后端Nginx配置以下。可在/var/www/html/建个index.html进行测试
[root@wangshibo ~]# cat /usr/local/nginx/conf/vhost/test.conf

server {
    listen  90;
    listen  91;
    location /{
      root /var/www/html;
    }
}

在/var/www/html里建立一个首页index.html文件
[root@wangshibo ~]# echo "this is test2" > /var/www/html/index.html

3--抓包查看Nginx反向代理负载均衡的健康检测机制。抓包一样会发生90和91的包都有过来。
抓包会发现Nginx在没有请求的时候，90和91端口上没有任务的请求。也就是在没有请求的时候，是不会对后端的代理服务器进行检测的。

4--模拟线上故障，Nginx挂掉91端口
把listen  91这个Nginx的配置去除，而后reload一下，发现前端的访问没有任务影响。抓包以下，请求有打包91，但因为91没请求到数据。Nginx的均衡还会再次去90上取数据。也就是说，Nginx若是后端挂掉91端口的话，对前端的请求没有任务影响，只要并发支撑得住的话。

由上面的实验可知：1）HAProxy对于后端服务器一直在作健康检测（就算请求没过来的时候也会作健康检查）：后端机器故障发生在请求还没到来的时候，haproxy会将这台故障机切掉，但若是后端机器故障发生在请求到达期间，那么前端访问会有异常。也就是说HAProxy会把请求转到后端的这台故障机上，并通过屡次探测后才会把这台机器切掉，并把请求发给其余正常的后端机，这势必会形成一小段时间内前端访问失败。2）Nginx对于后端的服务器没有一直在作健康检测：  后端机器发生故障，在请求过来的时候，分发仍是会正常进行分发，只是请求不到数据的时候，它会再转向好的后端机器进行请求，直到请求正常为止。也就是说Nginx请求转到后端一台不成功的机器的话，还会再转向另一台服务器，这对前端访问没有什么影响。3）所以，若是有用HAProxy作为前端负载均衡的话 ，若是后端服务器要维护，在高并发的状况，确定是会影响用户的。但若是是Nginx作为前端负载均衡的话，只要并发撑得住，后端切掉几台不会影响到用户。