LVS负载群集实验篇

 

上次提到，LVS（linux虚拟服务）负载群集有三种模式，NAT模式 IP隧道模式,DR模式。此次就分析一下LVS的NAT模式和DR模式，由于IP隧道模式不是很经常使用，也比较麻烦。

NAT模式

环境：

NAT模式 负载调度器既是客户端访问服务的惟一入口，也是服务器池中各节点响应客户端的出口因此要启用ip转发功能以及vs_ip模块 流量的进出转发不能有阻碍，防火墙要配置。服务器池中就构建web服务了 各个节点要访问统一的网页文件（NFS发布共享）

清理一下思路：

调度器收到客户端的请求后，目标ip是VIP 根据DNAT和ipvsadm策略，把数据包重写地址，发到服务器中的某一节点服务器。节点服务器回复给调度器，调度器在更具策略更改数据包地址响应给客户端。 因此 数据的进出都要通过调度器。

---负载调度器配置：

加载vs_ip模块并添加到启动模块

modprobe  ip_vs

---开启ip转发功能 vim /etc/sysctl.conf

把“net.ipv4.ip_forward = 0 ”的值给成1  启用转发

重启系统或者执行 命令 sysctl -p 生效

配置防火墙 容许80的入站 和转发

安装LVS管理工具ipvsadm

rpm -ivh ipvsadm-1.25-9.el6.i686.rpm

ipvsadm 工具的使用

-A 表示添加虚拟服务器 （这里我就把VIP配置成调度器的外部接口12.12.12.1了）

-t 指定vip（虚拟ip）的地址和端口

-s 指定算法  轮询（rr），加权轮询（wrr），最少连接（lc），加权最少连接（wlc）这是四种最经常使用的

-p 指定保持时间s

-a 表示添加真实服务器 （服务器池中的节点）

-r 指定RIP（真实ip）的地址和端口

-m 工做模式是NAT

-g 工做模式DR

-i 工做模式 RUN

-w 配置权重 默认值是1 为0 时表示暂停

建立条目

ipvsadm -A -t 12.12.12.1:80 -s rr

ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.1:80 -m

ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.2:80 -m

保存 service ipvsadm save

查看 ipvsadm -L 或 ipvsadm -l

查看负载连接状况  ipvsadm -lcn   或 -ln   如今为空

负载调度器完成

---NFS共享服务器（RHEL6)

NFS服务依赖于RPC机制，已完成本地的映射过程  因此要安装nfs-utils 用于发布共享和访问 rpcbind用于RPC的支持

rpm -ivh rpcbind-0.2.0-8.el6.i686.rpm

rpm -ivh nfs-utils-lib-1.1.5-1.el6.i686.rpm

rpm -ivh nfs-utils-1.2.2-7.el6.i686.rpm

配置共享空间

编辑NFS的配置文件 /etc/exports 默认为空 须要手动添加

/wwwroot/       192.168.1.0/24(rw,sync,no_root_squash)

其中客户机部分能够是主机名 ip地址 网段地址容许用* ？ 通配符表示

括号里的rw 表示读写 sync 表示同步写入 root_squash 表示当客户及以root身份访问时赋予本地root权限 （默认是root_quash） 加上no_ 表示将做为nfsnobody的身份对待 ro表示只读权限（能够为不一样的主机配置不一样的权限）

启动服务 注意:rhel5系统中RPC服务脚本是portmap而rhel6系统中RPC服务脚本是rpcbind

NFS服务端口较多，且不固定 因此建议关掉防火墙

---服务器节点配置

启动web服务

防火墙配置 容许80

挂载共享存储

写到/etc/fstab 文件中实现自动挂载

echo "192.168.1.10:/wwwroot/      /var/www/html     nfs  defaults,_netdev      0  0" >> /etc/fstab

查看

两台作相同的配置

而后建立 网页文件 作测试

客户端访问12.12.12.1作测试

负载调度器查看  ipvsadm   -lvn

能够看出 调度器把来自12.12.12.2的请求分别交给过192.168.1.1和192.168.1.2两台服务器处理  

Forward 下面是 Masq 表示 NAT 工做模式  若是是Router 表示DR

DR模式

DR模式中，Lvs不在是服务器池中各节点的出口，他们经过本身的路由回应客户端。LVS扮演的角色只是整个群集的入口。从性能上说，是减小了LVS调度器的负担，可是整个群集的安全性相比NAT工做模式下略有不足，可是“安全”一词只能是说没有绝对，不管是哪一种方，还得冲其余方面综合考虑。

环境：

此次没有搭建NFS网络共享（根据需求而定）

负载调度器 ：15.15.15.1  

Webserver 1 ：15.15.15.2 

Webserver2  ：15.15.15.3

群集ip （vip）：15.15.15.10 

客户端 ： 15.15.15.100 

DR模式说了，LVS的功能有所改变，他再也不作NAT转换了，他怎么监听客户端的请求？收到请求以后如何让服务器池中的各个节点知道（毕竟他们才提供响应的服务）？整个群集是有一个VIP（虚拟ip），就算节点服务器知道有请求，那么请求包中的目标地址也是vip的，怎么以VIP回应客户端？多台节点都要回应客户端，因此ARP是否冲突？

①负载调度器如何监听客户端的请求？

整个群集仍是有一个VIP，他负责监听客户端的请求。单独作LVS-DR 的时候，他要创建在物理接口上面，也就是咱们说的虚拟接口。

②怎么通知服务器池中的节点？

经过ipvsadm 设置的规则 NAT模式中已经介绍了

③一般客户端是不会接受本身没有请求过的数据包（tcp三次握手），因此节点服务器不通过LVS调度服务器响应客户端的话就得 以vip的源地址数据包回应客户端

④问题三中，响应客户端的节点服务器不止一台。ARP中 已知vip 15.15.15.10 他的MAC 地址是多少，会有N多的答案 形成数据传输混乱。因此要更改系统参数，不让他响应ARP和宣告ARP。

有点乱？ 我也有点乱，咱再从新过一遍

第一阶段

调度器收到客户端的请求，目标地址是VIP 15.15.15.10 的80端口。而本身没有80服务，在根据ipvsadm建立的策略，要把客户端的请求转发给服务器池中的某个节点，具体是哪一个？根据ipvsadm策略。

第二阶段

转发的数据包中，无论源ip地址是谁？（物理ip地址也好，创建在物理网卡上的虚拟ip也好-VIP）他的二层封装 都是一个MAC地址，这个包表达的意思就是客户端要访问群集ip的80端口，你看着办。（另外，还有资料说，这个包只是一个二层的包）

第三阶段 （下面详细说）

服务器池中的某个节点一看，目标是VIP 根据添加的路由条目，把包直接给本身的lo：0 接口 而Apache默认是监听本身的全部网卡，正中下怀。由于收到的是一个客户端访问VIP：80的请求包因此构建响应包的时候就是VIP到客户端的了，经过本身的网络参数配置，响应客户端了，并无通过调度器。

下面有一步步实现

负载调度器：

加载 ip_vs 模块  安装ipvsadm包 

建立虚拟接口 

修改参数为

重启网卡服务后

调整系统参数

对于DR群集模式来讲，因为LVS负载调度器和各节点须要共用VIP地址，为了不网络内的ARP解析出现异常，应该关闭linux内核的ICMP重定向参数响应。

注：ICMP重定向报文是ICMP控制报文中的一种。在特定的状况下，当路由器检测到一台机器使用非优化路由的时候，它会向该主机发送一个ICMP重定向报文，请求主机改变路由。此类报文有可能用以***,因此系统应该拒绝接受ICMP重定向。

编辑 /etc/sysctl.conf  添加

上图中参数的含义是发送重定向，0表示关闭此项功能。此处修改是为了安全考虑关闭重定向功能。若是具备 eth一、eth2 等多个接口，必须对全部接口执行该操做

命令 sysctl -p  修改生效

添加 ipvsadm 规则

其余方面 注意防火墙的配置 参考NAT

节点服务器：

开启httpd   防火墙策略

最主要的是添加网卡 lo：0

ifcf-lo:0的配置   注意子网掩码是四个255 表示地址只有一个

重启网卡服务后

添加路由

  route add -host 15.15.15.10 dev lo：0

查看

调整参数  禁止ARP响应和宣告

编辑/etc/sysctl.conf 文件

net.ipv4.conf.default.arp_ignore = 1

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.lo.arp_ignore = 1

arp_ignore:定义了网卡在响应外部ARP请求时候的响应级别0：默认值，无论哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应1：老是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另外一块网卡的，这个时候接收到ARP请求的这块网卡就必定不响应，只有发现请求的MAC是本身的才给与响应。

net.ipv4.conf.default.arp_announce =2

net.ipv4.conf.all.arp_announce =2

net.ipv4.conf.lo.arp_announce = 2

定义了网卡在向外宣告本身的MAC-IP时候的限制级别有三个值：0：默认值，无论哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应1：尽可能避免响应ARP请求中MAC不是本网卡的，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另外一块网卡的，这个时候接收到ARP请求的这块网卡就尽可能避免响应2：老是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另外一块网卡的，这个时候接收到ARP请求的这块网卡就必定不响应，只有发现请求的MAC是本身的才给与响应。

命令sysctl  -p使修改生效

测试

刷新后

没有配置NFS网络存储  因此建了两个内容不同的文件

END

Ps： 有错的地方还请谅解。就到这吧 关于高可用性和ip隧道  有时间再写吧！