使用ubuntu+haproxy+heartbeat搭建大规模WEB集群环境实现负载均衡。

1.目的

经过此做业指导书，知道如何使用ubuntu+haproxy+heartbeat搭建大规模WEB集群环 境，实现负载均衡。

2.适用范围

全部系统管理员。

3．定义

l Ubuntu 开源的LINUX服务器操做系统.

l Haproxy Haproxy提供高可用性、负载均衡 以及基于TCP和HTTP应用

的代理，它是免费、快速而且可靠的一种解决方案

l Heartbeat 用于实现故障转移，当一台机器DOWN后自动切换到备用机器

l Web服务器 包括Apache,Lighttpd,Nginx

l Openfiler 这是一个基于LINUX的NAS，用来创建Iscsi服务器

一 环境

1．硬件

服务器：

DELL 2950 1台

DELL 1950 1台

2U组装机 2台

1U组装机 1台

交换机：

H3C千M交换机

2.网络环境

· Load Balancer 1: lb1.ylmf.com, IP address: 192.168.1.100 eth0

· Load Balancer 2: lb2.ylmf.com, IP address: 192.168.1.101 eth0

· Web Server 1: web1.ylmf.com, IP address: 192.168.1.102 eth0

· Web Server 2: web2.ylmf.com, IP address: 192.168.1.103 eth0

· Iscsi target:openfiler.ylmf.com,IP address:192.168.1.104 eth0

· lb1 and lb2共享IP: 192.168.1.99

3.所须要的软件

操做系统：Ubuntu server 8.0.4

Lb1和lb2:haproxy heartbeat

Web1和web2:Apache2

Iscsi target:Openfiler

二 Web服务器配置

在web1和 web2上配置

1．设置自动登陆到iscsi target(openfiler)

安装open-iscsi

Apt-get install open-iscsi

发现iscsi-target

iscsiadm -m discovery -t sendtargets -p 192.168.1.104

设置开机自动登陆到iscsi-target

iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.6f5d0fb29fc9 -p 192.168.1.104 –op update -n node.startup -v automatic

说明：-T后面的字符串是执行发现iscsi-target所得到的链接字符串

不少时候设置自动登陆不成功，是由于在/etc/rc.local里面设置了dhclient

自动获取IP，这样自动登陆到ISCSI的时候网络是不通的，因此不成功。

须要在/etc/network/interfaces里面设置自动获取IP地址

如: auto eth0

iface eth0 inet dhcp

2．格式化ISCSI磁盘并设置自动挂载

使用fdisk –l查看磁盘分区

fdisk -l

说明：/dev/sdb 164.4GB是iscsi磁盘

fdisk /dev/sdb #对磁盘进行分区

mkfs.ext3 /dev/sdb1 #将sdb1分区格式化为ext3文件系统

创建挂载目录

mkdir /iscsi

开机自动挂载

vi /etc/fstab

/dev/sdb1 /iscsi ext3 relatime 0 2 #增长这一行

3．安装web server

Apt-get install apache2

2)修改web服务器日志格式

Vi /etc/apache2/apache2.conf

#LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined

LogFormat “%{X-Forwarded-For}i %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined

注释掉原来的CustomLog，并修改文档根路径为/iscsi/www

vi /etc/apache2/sites-available/default

SetEnvIf Request_URI “^/check\.txt$” dontlog

CustomLog /var/log/apache2/access.log combined env=!dontlog

/etc/init.d/apache2 restart #重启web服务器

4)创建check文件,haproxy使用该文件检查WEB状态，必须创建

Touch /iscsi/www/check.txt

Web服务器配置完成，很简单，lb1和lb2就要复杂一些

三配置负载均衡haproxy

在lb1和lb2上配置

1．修改hosts文件

Vi /etc/hosts

192.168.1.100 lb1.ylmf.com

192.168.1.101 lb2.ylmf.com

192.168.1.102 web1.ylmf.com

192.168.1.103 web2.ylmf.com

2.安装软件

Apt-get install haproxy

3.修改haproxy配置文件

Cp /etc/haproxy.cfg /etc/haproxy.cfg.bak

Cat /dev/null > /etc/haproxy.cfg

Vi /etc/haproxy.cfg

global

log 127.0.0.1 local0

log 127.0.0.1 local1 notice

#log loghost local0 info

maxconn 4096

#debug

#quiet

user haproxy

group haproxy

defaults

log global

mode http

option httplog

option dontlognull

retries 3

redispatch

maxconn 2000

contimeout 5000

clitimeout 50000

srvtimeout 50000

listen webfarm 192.168.1.99:80

mode http

stats enable

stats auth ylmf:ylmf

balance roundrobin

cookie JSESSIONID prefix

option httpclose

option forwardfor

option httpchk HEAD /check.txt HTTP/1.0

server webA 192.168.1.102:80 cookie A check

server webB 192.168.1.103:80 cookie B check

4.修改默认配置，让haproxy开机自动启动

Vi /etc/default/haproxy

# Set ENABLED to 1 if you want the init script to start haproxy.

ENABLED=1

# Add extra flags here.

#EXTRAOPTS=”-de -m 16″

四配置heartbeat高可用

Active/Standby 模式

Lb1和lb2上配置

1.安装

Apt-get install heartbeat

2.修改内核参数

Vi /etc/sysctl.conf

net.ipv4.ip_nonlocal_bind=1

sysctl –p #让设置生效

3．设置受权KEY

vi /etc/ha.d/authkeys

auth 3

3 md5 somerandomstring

chmod 600 /etc/ha.d/authkeys #修改权限

4．添加ha资源

vi /etc/ha.d/haresources

lb1.ylmf.com 192.168.1.99

在lb1上配置

vi /etc/ha.d/ha.cf

# # keepalive: how many seconds between heartbeats # keepalive 2 # # deadtime: seconds-to-declare-host-dead # deadtime 10 # # What UDP port to use for udp or ppp-udp communication? # udpport 694 bcast eth0 mcast eth0 225.0.0.1 694 1 0 ucast eth0 192.168.1.101 #这个IP是lb2的IP # What interfaces to heartbeat over? udp eth0 # # Facility to use for syslog()/logger (alternative to log/debugfile) # logfacility local0 # # Tell what machines are in the cluster # node nodename … — must match uname -n node lb1.ylmf.com node lb2.ylmf.com

在lb2上配置

vi /etc/ha.d/ha.cf

# # keepalive: how many seconds between heartbeats # keepalive 2 # # deadtime: seconds-to-declare-host-dead # deadtime 10 # # What UDP port to use for udp or ppp-udp communication? # udpport 694 bcast eth0 mcast eth0 225.0.0.1 694 1 0 ucast eth0 192.168.1.100 #这个IP是lb1的IP # What interfaces to heartbeat over? udp eth0 # # Facility to use for syslog()/logger (alternative to log/debugfile) # logfacility local0 # # Tell what machines are in the cluster # node nodename … — must match uname -n node lb1.ylmf.com node lb2.ylmf.com

5．设置开机自动启动heartbeat

vi /etc/rc.local

/etc/init.d/heartbeat start

Active/Active模式

在lb1和lb2的ha.cf里面增长一行

auto_failback on

在lb1上

vi /etc/ha.d/haresources

lb1.ylmf.com 192.168.1.99

在lb2上

vi /etc/ha.d/haresources

lb2.ylmf.com 192.168.1.99

参考文档http://www.hiadmin.com/ha%E9%85%8D%E7%BD%AE%E6%96%B9%E6%B3%95/

五测试

1.启动heartbeat

/etc/init.d/heartbeat start

2.启动haproxy

/etc/init.d/haproxy start

3.在lb1和lb2上查看接口信息

Ifconfig 或 ip addr sh eth0

4.查看haproxy状态

http://192.168.1.99/haproxy?stats

六 haproxy参考文档

官方网址：http://cn.haproxy.org/

描述

HAProxy提供高可用 性、负载均衡 以及基于TCP和HTTP应用的代理，它是免费、快速而且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点一般又须要会 话保持或七层处理。 HAProxy运行在当前的硬件上，彻底能够支持数以万计的并发链接。而且它的运行模式使得它能够很简单安全的整合进您当前的架构中，同时能够保护你的 web服务器不被暴露到网络上， 以下所示：

当前，版本1.3， 它支持以下新特性：

• 内容交换 : 能够根据请求(request)的任何一部分来选择一组服 务器, 好比请求的 URI, Host头(header), cookie, 以及其余任何东西. 固然，对那些静态分离的站点来讲，对此特性还有更多的需求。
• 全透明代理 : 能够用 客户端IP地 址或者任何其余地址来链接后端服务器. 这个特性仅在Linux 2.4/2.6内核打了cttproxy补 丁后才可使用. 这个特性也使得为某特殊服务器处理部分流量同时又不修改服务器的地址成为可能。
• 基于树的更快的调度器 : 1.2.16以上的版本要求全部的超时都设成一样的值以支持数以万计的全速链接. 这个特性已经移植到1.2.17.
• 内核TCP拼接 : 避免了内核到用户而后用户到内核端的数据拷贝, 提 高了吞吐量同时又下降了CPU使用率. Haproxy 1.3支持Linux L7SW 以知足在商用硬件上数Gbps的 吞吐的需求。
• 链接拒绝 : 由于维护一个链接的打开的开销是很低的，有时咱们很须要限制***蠕虫(attack bots)， 也就是说限制它们的链接打开从而限制它们的危害。 这个已经为一个陷于小型DDoS***的网站开发了并且已经拯救了不少站点。
• 细微的头部处理 : 使得编写基于header的规则更为简单，同时能够处理URI的某部分。
• 快而可靠的头部处理 : 使用彻底RFC2616兼容的完整性检查对通常的请求所有 进行分析和索引仅仅须要不到2ms的时间。
• 模块化设计 : 容许更多人加入进此项目，调试也很是简单. poller已经分离, 已经使得它们的开发简单了不少. HTTP已经从TCP分离出来了， 这样增长新的七层特性变得很是简单. 其余子系统也会很快实现模块化
• 投机I/O 处理 : 在一个套接字就绪前就尝试从它读取数据。poller仅推测哪一个可能就绪哪一个没有，尝试猜想，而且若是成功，一些开销很大的系统调用 就能够省去了。若是失败，就会调用这些系统调用。已知的使用Linux epoll()已经净提高起码10%了。
• ACLs : 使用任意规则的任意组合做为某动做的执行条件。
• TCP 协议检查 : 结合ACL来对请求的任意部分进行检查，而后再进行转发。这就能够执行协议验证而不是盲目的进行转发。好比说容许SSL但拒绝SSH。
• 更多的负载均衡算法 : 如今，动态加权轮循(Dynamic Round Robin)，加权源地址哈希(Weighted Source Hash)，加权URL哈希和 加权参数哈希(Weighted Parameter Hash)已经实现。其余算法好比Weighted Measured Response Time也很快会实现。

和其余”免费”的负载均衡解决方案不一样的是, HAproxy仅被几百或者几千的遍及全球的用户使用， 可是这些用户一般运行很大的站点， 天天有数百万的点击量和几Gbps甚至几万兆(terabytes)吞吐量。 他们须要7×24的可用性而且愿意承受免费软件解决方案的风险， 同时有这些使用技术. 一般, 这种解决方案仅配置为内部使用, 我仅在他们提供给我反馈或者须要新特性的时候才会知道.

Heartbeat介绍

Linux-HA项目在普遍的平台上提供成熟的高可用(故障切换)能力，在全球支持上万个关键任务节点。 其中一小部分记录在成功案例。

Linux-HA项目是目前可用的时间最长，最多能力，和通过最好测试的开放源码高可用性解决方案，并具备最大的辅助社区．根据项目的规则，它一直 保证编译时没有警告，没有静态分析工具发现的问题．安全专家按期审查源程序．

它提供对节点，应用的监视功能，提供一个成熟的基于规则的资源配置依赖模型．当一个故障发生，或一个规则变化，用户提供的规则将指导指望的资源的重 新配置．

通常来讲，它具备至少与Veritas VCS, SunCluster, LifeKeeper, ServiceGuard等商业集群软件相似的功能和一样方便的使用方法．

特性

• 工做在全部Linux的变体和平台上，并随许多Linux发行版一块儿打包发行．
• 支持复杂的服务间的依赖关系.能够快速准确地启动和中止资源.
• 支持强制多个资源运行在同一位置或强制多个资源运行在不一样位置的规则.
• 基于规则的资源配置可让资源精确地根据用户定义的规则,节点的属性和位置的限制条件来配置.
• 适当力度的资源管理可让用户本身定义属性,这样可使资源的切换基于用户本身的标准进行.
• 基于时间的规则能够根据不一样时间来适用不一样的规则.举例来讲,用户能够设定,切换要延迟到晚上或周末进行.
• 易于理解和配置的基于init脚本的应用管理. – 对于基本管理,许多服务不须要定义新脚本.
• 资源组提供了一个简单的易于使用的服务管理.

· 活动的隔离机制(STONITH)提供强大的数据完整性保证-即便在发生一些不 寻常的故障状况下.

· 全特性的图形用户界面 – 能够用来配置，控制，监视服务和服务器的运行

· 支持工业标准的系统管理协议 CIM (Common Information Model)

• 开放源码避免了提供商占据产品，并提供很是大的灵活性，稳定性，响应度和测试.
• 在Linux上有很长的历史，并在健壮性上有良好的声望.
• 能够在单独的机器上对基于init脚本的应用进行监控和重启.
• 能够运行在FreeBSD和Solaris上，并能够移植其它类POSIX平台.

官方网址：http://www.linux-ha.org/zh/HomePage_zh