LVS DR模式详细搭建过程

外部IP地址	内部IP地址	角色
10.0.0.30/24	192.168.1.1/24	LVS调度器虚拟机
10.0.0.237/24	192.168.1.2/24	RS1虚拟机
10.0.0.238/24	192.168.1.3/24	RS2虚拟机
10.0.0.130/24	无	客户机本身电脑

注实际应用中RS1 RS2没有外部地址当前环境中没有物理双网卡环境都采用一个网卡配置多个IP地址。

3、httpd与ipvsadm下载

1在各服务器上修改主机名

[root@LVS1 ~]# hostname LVS1

[root@RS1 ~]# hostname RS1

[root@RS2 ~]# hostname RS2

2在RS1 RS2上安装httpd服务

[root@RS2 ~]# yum installhttpd –y

[root@RS2 ~]#/etc/init.d/httpd start

[root@RS2 ~# ps -ef|grephttpd

[root@RS1 ~]# yum installhttpd –y

[root@RS1 ~]# /etc/init.d/httpdstart

[root@RS1 ~# ps -ef|grephttpd<==查看httpd服务是否起来

[root@RS1 ~]# cat/etc/httpd/conf/httpd.conf|grep DocumentRoot <==查找系统站点目录路径

# DocumentRoot: The directoryout of which you will serve your

DocumentRoot"/var/www/html"

# This should be changed towhatever you set DocumentRoot to.

# DocumentRoot/www/docs/dummy-host.example.com

[root@RS1 ~]# echo"RS1" >/var/www/html/index.html

[root@RS2 src]# echo"RS2" >/var/www/html/index.html

Httpd服务测试

测试成功

3下载ipvsadm

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

我所使用的源包下载目录/usr/local/src

个人LVS环境

[root@RS1 src]# cat/etc/redhat-release

CentOS release 5.8 (Final)

[root@RS1 src]# uname -rm

2.6.18-308.el5 x86_64

ipvsadm-1.26对内核有要求要求内核版本在2.6.28及之后的版本若是符合了系统环境还要安装依赖包yum install libnl*popt* -y。

个人内核版本不知足使用ipvsadm-1.24。

[root@LVS1 src]# tar -zxfipvsadm-1.24.tar.gz

[root@LVS1 src]# ln -s /usr/src/kernels/2.6.18-348.12.1.el5-x86_64 /usr/src/linux<==编译有使用的路径为/usr/src/linux可在Makefile中查看若是不作连接会编译失败

[root@LVS1 src]# ll /usr/src/

total 16

drwxr-xr-x 2 root root 4096 May11 2011 debug

drwxr-xr-x 3 root root 4096Aug 5 03:53 kernels

lrwxrwxrwx1 root root 43 Aug 5 03:56 linux ->/usr/src/kernels/2.6.18-348.12.1.el5-x86_64<==要使用ll /usr/src/查看若是软连接一闪一闪的表明连接失败

[root@LVS1 src]# cd ipvsadm-1.24

[root@LVS1 ipvsadm-1.24]# make&&make install <==若是编译失败请按上面步骤一步一步排错。

[root@LVS1 ipvsadm-1.24]# lsmod |grepip_vs <==查看内核模块是否有ipvsadm

[root@LVS1 ipvsadm-1.24]# ipvsadm

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

#还有一种加载ipvsadm方法用modprobe ip_vs

[root@LVS1 ipvsadm-1.24]# lsmod |grepip_vs <==查看内核模块有表明ipvsadm加载进内核当中此时LVS安装完毕

ip_vs 122113 0

4、LVS负载均衡配置

1配置VIP和DIP

IP配置参考步骤2安装准备

[root@LVS1 ~]# ifconfig eth010.0.0.30 netmask 255.255.255.0 #VIP

[root@LVS1 ~]# ifconfigeth0:1 192.168.1.1 netmask 255.255.255.0 #DIP

2添加真实服务器

[root@LVS1 ~]# ipvsadm –C <==手工清空原来表内容

[root@LVS1 ~]# ipvsadm --set30 5 60 <== 设置链接超时值

[root@LVS1 ~]# ipvsadm -A -t10.0.0.30:80 -s wrr -p 20 <== -A添加地址-t指定VIP TCP端口-s指定调度算法–p会话保持时间

[root@LVS1 ~]# ipvsadm -L –n <== 查看表内容添加了一组VIP地址和端口

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.2:80 -g -w 1 <== -a指定真实服务器 -t lvs上VIP-r真实服务器ip及端口-w权重值-g先择DR模式-m为NAT模式

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.3:80 -g -w 1

[root@LVS1 ~]# ipvsadm -L –n <== 查看表内容添加了两台负载转发的真实服务器

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

-> 192.168.1.2:80 Route 1 0 0

-> 192.168.1.3:80 Route 1 0 0

若是添加服务器地址写错了可用以下命令删除即大A添加改成大D删除小a添加改成小d删除

ipvsadm –D –t10.0.0.30:80 –s wrr

ipvsadm –d –t10.0.0.30:80 –r 192.168.1.2:80

5、真实WEB服务器配置及arp抑制

[root@RS1 ~]# ifconfig eth0|grep "inet addr" <==此地址用来本身电脑用CRT软件登录设备同时也用来发送arp请求客户机MAC由于是直接返回页面给客户机而当前网络是同一物理网段必须同网段才正常。

inet addr:10.0.0.237 Bcast:10.0.0.255 Mask:255.255.255.0

[root@RS1 ~]# ifconfig eth0:1192.168.1.2 netmask 255.255.255.0 <==配置内部IP地址

[root@RS1 ~]# ifconfig lo10.0.0.30 netmask 255.255.255.255 <==每台真实服务器都须要配置VIP

为何要绑定VIP呢由于DR模式原理是LVS调度器修改mac地址为真实服务器地址报文的目的IP仍是VIP没修改网卡只会把目的MAC和目的IP都是本身的报文上送CPU因此真实服务器上必须配置VIP!

为何使用lo口呢由于lo口为本地环回口防止本地局域网IP地址冲突!

[root@RS2 src]# ifconfigeth0|grep "inet addr" <==此地址用来本身电脑用CRT软件登录设备同时也用来发送arp请求客户机MAC由于是直接返回页面给客户机而当前网络是同一物理网段必须同网段才正常。

inet addr:10.0.0.238 Bcast:10.0.0.255 Mask:255.255.255.0

[root@RS2 src]# ifconfig eth0:1192.168.1.3 netmask 255.255.255.0 <==配置内部IP地址

[root@RS2 src]# ifconfig lo10.0.0.30 netmask 255.255.255.255

此时配置完成只是测试时出现一个问题再次登录CRT中 10.0.0.30地址时登录到RS1上去了再刷新登录到RS2上去了。怎么解决呢

经过分析得出访问10.0.0.30时会发送arp请求10.0.0.30的mac,而这个网络中有3个10.0.0.30地址此时那谁给的arp回应到客户机访问的就是谁了。若是RS1的arp回应先到就访问的RS1了

解决方法

抑制ARP响应

该抑制只在真实服务器上配置

[root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce

[root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce

1 2都表明什么内容可在最后附录中查看也可本身网上搜索

6、LVS负载均衡测试

显示的值是RS1,则此时该连接是分配到192.168.1.2上

咱们使用的是wrr调度算法该算法中谁的权重值高会优先分配给谁

查看配置发现权重值同样

[root@LVS1 ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port ForwardWeight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

-> 192.168.1.2:80 Route 1 0 0

-> 192.168.1.3:80 Route 1 0 0

因为有会话保持功能接下来修改权重值

[root@LVS1 ~]# ipvsadm -d -t10.0.0.30:80 -r 192.168.1.3:80 <==删除原来配置

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.3:80 -g -w 2 <==从新配置权重值为2

[root@LVS1 ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port ForwardWeight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

-> 192.168.1.3:80 Route 2 0 0

-> 192.168.1.2:80 Route 1 0 0

再次进行测试

7、附arp抑制参数

arp响应限制

1arp_ignore:

定义对目标地址为本地IP的ARP询问不一样的应答模式0

0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求

1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求

2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内

3 - 不回应该网络界面的arp请求而只对设置的惟一和链接地址作出回应

4-7 - 保留未使用

8 -不回应全部本地地址的arp查询

2arp_announce:

对网络接口上本地IP地址的发出的ARP回应做出相应级别的限制: 肯定不一样程度的限制,宣布对来自本地源IP地址发出Arp请求的接口

0 - (默认) 在任意网络接口eth0,eth1lo上的任何本地地址

1 -尽可能避免不在该网络接口子网段的本地地址作出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候颇有用.此时会检查来访IP是否为全部接口上的子网段内ip之一.若是改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.

2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通讯的本地地址.首要是选择全部的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 若是没有合适的地址被发现,将选择当前的发送网络接口或其余的有可能接受到该ARP回应的网络接口来进行发送.

本文出自 “此心安处是吾乡” 博客请务必保留此出处http://yangrong.blog.51cto.com/6945369/1287534