Haproxy+Keepalived主主高可用

时间 2020-01-27

标签 haproxy+keepalived haproxy keepalived 可用栏目负载均衡繁體版

原文原文链接

介绍
HAProxy是高性能的代理服务器，其能够提供7层和4层代理，具备healthcheck，负载均衡等多种特性，性能卓越，包括Twitter，Reddit，StackOverflow，GitHub在内的多家知名互联网公司在使用。

KeepAlived是一个高可用方案，经过VIP(即虚拟IP)和心跳检测来实现高可用。其原理是存在一组（两台）服务器，分别赋予Master,Backup两个角色，默认状况下Master会绑定VIP到本身的网卡上，对外提供服务。Master,Backup会在必定的时间间隔向对方发送心跳数据包来检测对方的状态，这个时间间隔通常为2秒钟，若是Backup发现Master宕机，那么Backup会发送ARP包到网关，把VIP绑定到本身的网卡，此时Backup对外提供服务，实现自动化的故障转移，当Master恢复的时候会从新接管服务。

咱们的keepalived主主的应用场景：由于咱们须要同时为主域名和图片服务器域名同时提供分发请求，因此用到了Haproxy+keepalived主主模式。

默认状况下，第一台负载均衡器主要分发 www.baison.com.cn的请求，第二台负载均衡器主要分发img.baison.com.cn的请求。任意一台宕机都不会影响网站分发。这样不会致使服务器浪费。

VIP1=192.168.150.222 (www.baison.com.cn)

VIP2=192.168.150.223 (img.baison.com.cn)

haproxy01=192.168.150.110

haproxy02=192.168.150.112

web1=192.168.158.116

web2=192.168.158.117

web3=192.168.158.118php

img1=192.168.158.119

img2=192.168.158.120html

安装配置过程linux

一、安装配置过程，（两台Haproxy的安装配置步骤同样）
haproxy下载地址：http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.24.tar.gz
#cd /usr/local/src
#wget  http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.24.tar.gz
#tar xf  haproxy-1.4.24.tar.gz
#cd haproxy-1.4.24
#make TARGET=linux26 ARCH=x86_64
#编译参数参考README，其中TARGET是指定内核版本，ARCH指定CPU架构，
#make  install
二、安装完毕后，建立配置文件和启动文件。
#mkdir /etc/haproxy
#cp examples/haproxy.cfg  /etc/haproxy
#cp examples/haproxy.init  /etc/init.d/haproxy
#chmod +x /etc/init.d/haproxy
#ln -s /usr/local/sbin/haproxy /usr/sbin/

三、编辑配置文件（两台Haproxy配置文件相同）web

# vim /etc/haproxy/haproxy.cfg
# this config needs haproxy-1.1.28 or haproxy-1.2.1
global
     log 127.0.0.1  local0    #日志输出配置，全部日志都记录在本机，经过local0输出
     log 127.0.0.1 local1 notice            
     #log loghost  local0 info  
     maxconn 65535                        #最大链接数
     chroot /usr/local/                   #改变当前工做目录。
     uid 99                               #所属用户的uid 
     gid 99                               #所属运行的gid
     daemon                               #之后台形式运行haproxy
defaults
  log global
  mode http
  #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
  option dontlognull
  option httplog
  retries 3                         #两次链接失败就认为是服务器不可用
  option redispatch  
  #当serverId对应的服务器挂掉后，强制定向到其余健康的服务器
  option abortonclose
  #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接
  maxconn 65535                      #默认的最大链接数
#timeout http-keep-alive 10s
# timeout queue 1m
  contimeout                5000      #链接超时
  clitimeout                50000     #客户端超时
  srvtimeout                50000     #服务器超时
  timeout check 5s                    #心跳检测超时
  stats refresh 30s                   #统计页面自动刷新时间    
  stats uri  /stats                   #统计页面url       
  stats realm baison-test-Haproxy     #统计页面密码框上提示文本
  stats auth admin:admin123           #统计页面用户名和密码设置   
  stats hide-version                  #隐藏统计页面上HAProxy的版本信息
frontend www
  bind :80
  #这里建议使用bind *:80的方式，要否则作集群高可用的时候有问题，vip切换到其余机器就不能访问了。
  acl web hdr(host) -i www.baison.com.cn
  #acl后面是规则名称，-i是要访问的域名，若是访问www.baison.com这个域名就分发到下面的webserver 的做用域。
  acl img hdr(host) -i img.baison.com.cn 
  #若是访问img.baison.com.cn就分发到imgserver这个做用域。
  use_backend webserver if web
  use_backend imgserver if img
                                                                                                                                                                                                                            
backend     webserver             #webserver做用域
  mode http
  balance   roundrobin       
  #banlance roundrobin 轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数
  option  httpchk /index.html
  #检测文件，若是分发到后台index.html访问不到就再也不分发给它。
                                                                                                                                                                                                                            
server     web01 192.168.158.116:80  check inter 2000 fall 3 weight 20
server     web02 192.168.158.117:80  check inter 2000 fall 3 weight 10
server     web03 192.168.158.118:80  check inter 2000 fall 3 weight 10
                                                                                                                                                                                                                            
backend imgserver
   mode http
   option  httpchk /index.php
   balance     roundrobin                           
 server     img01 192.168.149.119:80  check inter 2000 fall 3
 server     img02 192.168.149.120:80  check inter 2000 fall 3

四、启动Haproxy服务，查看状态。redis

#service  haproxy  start

五、安装配置keepalived（两台keepalived安装步骤同样）

#tar zxvf  -1.2.7.tar.gz
#cd keepalived-1.2.7
#./configure --prefix=/usr/local/keepalived
#make
#make install
#cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
#cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
#cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
#mkdir /etc/keepalived
#cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/

六、第一台keepalived配置文件。第一台作192.168.150.222vip的master，192.168.150.223的backup。

#vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id LVS_DEVEL
}
vrrp_script chk_haproxy {
         script "/usr/local/keepalived/check_haproxy.sh"
        interval 2
        weight 2
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 5555
    }
track_script {
        chk_haproxy #监测haproxy进程状态
    }
    virtual_ipaddress {
        192.168.150.222
    }
}
vrrp_instance VI_2 {
    state BACKUP
    interface eth0
    virtual_router_id 52
    priority 99
    advert_int 1
    authentication {
         auth_type PASS
         auth_pass 1111
    }
    virtual_ipaddress {
        192.168.150.223          
         }
}

七、第二台keepalived的配置文件。

#vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id LVS_DEVEL
}
vrrp_script chk_haproxy {
        script "/usr/local/keepalived/check_haproxy.sh"
        interval 2
        weight 2
}
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 5555
    }
track_script {
        chk_haproxy      #监测haproxy进程状态
    }
    virtual_ipaddress {
        192.168.150.222
    }
}
vrrp_instance VI_2 {
    state MASTER
    interface eth0
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
         auth_type PASS
         auth_pass 1111
    }
    virtual_ipaddress {
        192.168.150.223    
         }
}

八、 检测脚本，为了防止haproxy服务关闭致使keepalived不自动切换。

#vim /usr/local/keepalived/check_haproxy.sh
#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
     /etc/init.d/haproxy  start
fi
sleep 2
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
       /etc/init.d/keepalived stop
fi

九、启动两台keepalived和Haproxy服务。

#servcie haproxy  start
#service keepalived  start

十、查看两台服务器的VIP

#ip addr

十一、官网内核优化建议。

echo 1024 60999 > /proc/sys/net/ipv4/ip_local_port_range
echo 30 > /proc/sys/net/ipv4/tcp_fin_timeout
echo 4096 > /proc/sys/net/ipv4/tcp_max_syn_backlog
echo 262144 > /proc/sys/net/ipv4/tcp_max_tw_buckets
echo 262144 > /proc/sys/net/ipv4/tcp_max_orphans
echo 300 > /proc/sys/net/ipv4/tcp_keepalive_time
echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
echo 0 > /proc/sys/net/ipv4/tcp_timestamps
echo 0 > /proc/sys/net/ipv4/tcp_ecn
echo 1 > /proc/sys/net/ipv4/tcp_sack
echo 0 > /proc/sys/net/ipv4/tcp_dsack

十二、测试，关闭任意一台keepalived，或者拔掉任意keepalived的网线。 img和www域名访问正常。