ILVS,是Linux Virtual Server的简称,也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目。LVS由用户空间的ipvsadm和内核空间的IPVS组成,ipvsadm用来定义规则,IPVS利用ipvsadm定义的规则工做。如今LVS已是 Linux标准内核的一部分,在Linux2.4内核之前,使用LVS时必需要从新编译内核以支持LVS功能模块,可是从Linux2.4内核之后,已经彻底内置了LVS的各个功能模块,无需给内核打任何补丁,能够直接使用LVS提供的各类功能。php
经过LVS提供的负载均衡技术和Linux操做系统实现一个高性能、高可用的服务器群集,它具备良好可靠性、可扩展性和可操做性。从而以低廉的成本实现最优的服务性能。LVS的主要特色有如下几个方面:html
3、LVS常见术语
LVS中有一些常见的术语,以下表所示:前端
名称 解释 ipvsadm 用户空间的命令行工具,用于管理集群服务及集群服务上的RS等; IPVS 工做于内核上的netfilter INPUT HOOK之上的程序,可根据用户定义的集群实现请求转发; VS Virtual Server ,虚拟服务 Director, Balancer 负载均衡器、分发器 RS Real Server 后端请求处理服务器 CIP Client IP,客户端IP VIP Director Virtual IP,负载均衡器虚拟IP DIP Director IP,负载均衡器IP RIP Real Server IP,后端请求处理服务器IP
若是对于iptables5条链不了解的同窗,麻烦先去看下这个知识点。这5条链是当数据包流向这台服务器的时候,数据包在服务器内核中的流向。能够参考下面这篇文章:
https://blog.csdn.net/gui951753/article/details/86619021mysql
LVS工做原理:web
LVS有不少种模式来供咱们选择,生产场景中通常使用的都是NAT模式和DR模式,固然,也并非说其余模式并不会使用,仍是要根据实际的生产场景来决定选择什么样的方案。算法
Virtual Server via NAT(VS-NAT):用地址翻译实现虚拟服务器。地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址。外界看起来包是来自地址转换器自己,当外界包送到转换器时,它能判断出应该将包送到内部网的哪一个节点。优势是节省IP 地址,能对内部进行假装;缺点是效率低,由于返回给请求方的数据包通过调度器。sql
数据包流转的过程如上图所示:数据库
(1)当用户请求到达DirectorServer,此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP,目标IP为VIP 。vim
(2) PREROUTING检查发现数据包的目标IP是本机,将数据包送至INPUT链。windows
(3) IPVS比对数据包请求的服务是否为集群服务,如果,修改数据包的目标IP地址为后端服务器IP,而后将数据包发至POSTROUTING链。 此时报文的源IP为CIP,目标IP为RIP ,在这个过程完成了目标IP的转换。
(4) POSTROUTING链经过选路,将数据包发送给Real Server。
(5) Real Server比对发现目标为本身的IP,开始构建响应报文发回给Director Server。 此时报文的源IP为RIP,目标IP为CIP 。
(6) Director Server在响应客户端前,此时会将源IP地址修改成本身的VIP地址,而后响应给客户端。 此时报文的源IP为VIP,目标IP为CIP。
以下图所示,NAT模式中的一大缺点就是不管是请求的数据包,仍是返回的数据包,都必需要通过负载的这个点,请求的数据包通常内容较少,问题不是很大,而返回的数据包,通常都是图片,视频等等,这会给中间的调度器带来巨大的负担。font>
Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器。当参与集群的计算机和做为控制管理的计算机在同一个网段时能够用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点。直接路由模式比较特别,很难说和什么方面类似,前种模式基本上都是工做在网络层上(三层),而直接路由模式则应该是工做在数据链路层上(二层)。
工做原理 :
如上图所示,Director和REAL SERVER都配置同一个IP(VIP),Director将该IP配置到对外的网卡上,Real server将该IP配置到lo网卡上。配置arp_ignore为1(目的是让数据包发出apr请求时,只有Director会响应该arp请求),全部REAL SERVER对自己这个IP的ARP请求保持静默。而Director收到数据包后根据调度算法,找出对应的 REAL SERVER,把目的MAC地址改成REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER经过网卡eth0收到这个数据包,因为Real Server上的lo网卡配置的也有VIP,因此RS接收该数据包。处理后直接返回给客户端(这里要配置arp_announce,目的是修改返回数据包的源ip地址。)。因为DR要对二层包头进行改换,因此DR和REAL SERVER之间必须在一个广播域,也能够简单的理解为在同一台交换机上。
DR模式的特性
一、保证前端路由将目标地址为VIP报文通通发给Director Server,而不是RS
二、RS可使用私有地址;也能够是公网地址,若是使用公网地址,此时能够经过互联网对RIP进行直接访问
三、RS跟Director Server必须在同一个物理网络中
四、全部的请求报文经由Director Server,但响应报文必须不能进过Director Server
五、不支持地址转换,也不支持端口映射
六、RS能够是大多数常见的操做系统
七、RS的网关毫不容许指向DIP
八、RS上的lo接口配置VIP的IP地址
准备好三台主机(分别为lvs调度器、RS一、RS2)实现DR模式的调度效果。
1.客户端将请求发往前端的负载均衡器,请求报文源地址是CIP,目标地址为VIP。
2.负载均衡器收到报文后,发现请求的是在规则里面存在的地址,那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改成DIP,目标地址改成RIP,并将此包发送给RS。
3.RS收到请求报文后,会首先拆开第一层封装,而后发现里面还有一层IP首部的目标地址是本身lo接口上的VIP,因此会处理次请求报文,并将响应报文经过lo接口送给eth0网卡(这个网卡通常指和调度器在一个网段的网卡)直接发送给客户端。注意:须要设置lo接口的VIP不能在公网上出现。
特色:
(1)RIP,DIP可使用私有地址;
(2)RIP和DIP能够再也不同一个网络中,且RIP的网关未必须要指向DIP;
(3)支持端口映射;
(4)RS的OS可使用任意类型;
(5)请求报文经由Director,响应报文也经由Director
LVS有两种类型的调度算法,其一就是静态的调度算法,这种算法一经实现,后续就不会发生变化,是既定的规则,后续数据包的流转都会按照这种规则进行循序渐进的流转;其二就是动态的调度算法,这种算法是基于网络情况,或者后端服务器的情况,链接的情况等来进行实时的调整,算法的规则会根据实际状况而发生必定的变化。
经常使用的静态调度算法有如下几种:
1.RR:轮叫调度(Round Robin)
调度器经过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而无论服务器上实际的链接数和系统负载。
2.WRR:加权轮叫(Weight RR)
调度器经过“加权轮叫”调度算法根据真实服务器的不一样处理能力来调度访问请求。这样能够保证处理能力强的服务器处理更多的访问流量。调度器能够自动问询真实服务器的负载状况,并动态地调整其权值。
3.DH:目标地址散列调度(Destination Hash )
根据请求的目标IP地址,做为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,不然返回空。
4.SH:源地址 hash(Source Hash)
源地址散列”调度算法根据请求的源IP地址,做为散列键(HashKey)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,不然返回空。
经常使用的动态调度算法有下面这些
1.LC:最少连接(Least Connections)
调度器经过”最少链接”调度算法动态地将网络请求调度到已创建的连接数最少的服务器上。若是集群系统的真实服务器具备相近的系统性能,采用”最小链接”调度算法能够较好地均衡负载。
2.WLC:加权最少链接(默认采用的就是这种)(Weighted Least Connections)
在集群系统中的服务器性能差别较大的状况下,调度器采用“加权最少连接”调度算法优化负载均衡性能,具备较高权值的服务器将承受较大比例的活动链接负载。调度器能够自动问询真实服务器的负载状况,并动态地调整其权值。
3.SED:最短延迟调度(Shortest Expected Delay )
在WLC基础上改进,Overhead = (ACTIVE+1)*256/加权,再也不考虑非活动状态,把当前处于活动状态的数目+1来实现,数目最小的,接受下次请求,+1的目的是为了考虑加权的时候,非活动链接过多缺陷:当权限过大的时候,会倒置空闲服务器一直处于无链接状态。
4.NQ永不排队/最少队列调度(Never Queue Scheduling NQ)
无需队列。若是有台 realserver的链接数=0就直接分配过去,不须要再进行sed运算,保证不会有一个主机很空间。在SED基础上不管+几,第二次必定给下一个,保证不会有一个主机不会很空闲着,不考虑非活动链接,才用NQ,SED要考虑活动状态链接,对于DNS的UDP不须要考虑非活动链接,而httpd的处于保持状态的服务就须要考虑非活动链接给服务器的压力。
10、ipvsadm使用指南
在ipvsadm中有几个常见术语须要解释一下:
配置虚拟服务的语法:
ipvsadm 的用法和格式以下: ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p[timeout]] [-M netmask] #添加/编辑一条新的虚拟服务器记录。 ipvsadm -D -t|u|f virtual-service-address #删除一条记录 ipvsadm -C #清除全部记录 ipvsadm -R #恢复虚拟服务器规则 ipvsadm -S [-n] #保存虚拟服务器规则 命令选项解释: -A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也 就是增长一台新的虚拟服务器。 -E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。 -D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。 -C --clear 清除内核虚拟服务器表中的全部记录。 -R --restore 恢复虚拟服务器规则 -S --save 保存虚拟服务器规则,输出为-R 选项可读的格式 -s --scheduler scheduler 使用的调度算法,有这样几个选项 rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, -p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客 户的屡次请求,将被同一台真实的服务器处理。timeout 的默认值为300 秒。 -M --netmask netmask persistent granularity mask
配置real server的语法
ipvsadm 的用法和格式以下: ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight] ipvsadm -d -t|u|f service-address -r server-address ipvsadm -L|l [options] ipvsadm -Z [-t|u|f service-address] ipvsadm --set tcp tcpfin udp ipvsadm --start-daemon state [--mcast-interface interface] ipvsadm --stop-daemon ipvsadm -h 命令选项解释: -a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器 记录。也就是在一个虚拟服务器中增长一台新的真实服务器 -e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录 -d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录 -L|-l --list 显示内核虚拟服务器表 -Z --zero 虚拟服务表计数器清零(清空当前的链接数量等) --set tcp tcpfin udp 设置链接超时值 --start-daemon 启动同步守护进程。他后面能够是master 或backup,用来讲 明LVS Router 是master 或是backup。在这个功能上也能够采用keepalived 的 VRRP 功能。 --stop-daemon 中止同步守护进程 -h --help 显示帮助信息 -t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务 [vip:port] or [real-server-ip:port] -u --udp-service service-address 说明虚拟服务器提供的是udp 的服务 [vip:port] or [real-server-ip:port] -f --fwmark-service fwmark 说明是通过iptables 标记过的服务类型。 -r --real-server server-address 真实的服务器[Real-Server:port] -g --gatewaying 指定LVS 的工做模式为直接路由模式(也是LVS 默认的模式) -i --ipip 指定LVS 的工做模式为隧道模式 -m --masquerading 指定LVS 的工做模式为NAT 模式 -w --weight weight 真实服务器的权值 --mcast-interface interface 指定组播的同步接口 -c --connection 显示LVS 目前的链接 如:ipvsadm -L -c --timeout 显示tcp tcpfin udp 的timeout 值 如:ipvsadm -L --timeout --daemon 显示同步守护进程状态 --stats 显示统计信息 --rate 显示速率信息 --sort 对虚拟服务器和真实服务器排序输出 --numeric -n 输出IP 地址和端口的数字形式
上述四种工做模式,DR模式和NAT模式是经常使用的两种模式,本文就只阐述这两种工做模式。
NAT模式的实现
在实现以前,要先对网段进行必定的规划,每一台服务器都去规划好它的位置,和其所承担的职责。
机器名称 IP配置 服务角色 lvs VIP:192.168.31.100 DIP:172.25.0.1 负载均衡器 web1 RIP:172.25.0.31 后端服务器 web2 RIP:172.25.0.32 后端服务器 web3 RIP:172.25.0.33 后端服务器
其数据流转的模型以下图所示:
实现步骤:
安装相关配置工具 [root@lvs1 ~]# yum install ipvsadm -y lvs-server配置: 一、ipvsadm -A -t 192.168.31.100:80 -s wrr #开启一个基于80端口的虚拟服务,调度方式为wrr 二、ipvsadm -a -t 192.168.31.100:80 -r 172.25.0.31 -m -w 1 #配置web1服务后端real server 为nat工做方式 权重为1 ipvsadm -a -t 192.168.31.100:80 -r 172.25.0.32 -m -w 1 #配置web2服务后端real server 为nat工做方式 权重为1 ipvsadm -a -t 192.168.31.100:80 -r 172.25.0.33 -m -w 1 #配置web3服务后端real server 为nat工做方式 权重为1 三、修改内核配置,开启路由转发 vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 sysctl -p 使其生效 五、real server配置 配置网关指向172.25.0.11,开启web、php-fpm、mysql服务
可分别在三个站点上面写上不一样的内容,而后进行测试,看是否可以进行调度。
注:windows中的浏览器中通常都会有缓存,其调度可能会失效,使用Linux中的curl等命令访问则是没有问题的。可以正常的实现调度。
DR模式的实现
机器名称 IP配置 服务角色 lvs VIP:172.25.0.100 DIP:172.25.0.1 负载均衡器 web1 RIP:172.25.0.31 后端服务器 web2 RIP:172.25.0.32 后端服务器 web3 RIP:172.25.0.33 后端服务器
DR模式的配置是使用命令来实现的,故其中的一些配置在系统重启以后是不存在的,若是要想下次开机启动以后,可以自动的配置,能够将配置的步骤写成脚本,并设置开机自启动。(上面NAT模式的实现也能够设置开机自启动脚原本实现。)
LVS调度器脚本
#!/bin/bash # chkconfig: 2345 90 10 #LVS script for DR . /etc/rc.d/init.d/functions VIP=172.25.0.100 DIP=172.25.0.11 RIP1=172.25.0.31 RIP2=172.25.0.32 RIP3=172.25.0.33 PORT=80 # #description: hhahahah case "$1" in start) /sbin/ifconfig ens34:0 $VIP broadcast $VIP netmask 255.255.255.255 up /sbin/route add -host $VIP dev ens34:0 # Since this is the Director we must be able to forward packets echo 1 > /proc/sys/net/ipv4/ip_forward # 开启路由转发功能 # Clear all iptables rules. /sbin/iptables -F # Reset iptables counters. /sbin/iptables -Z # Clear all ipvsadm rules/services. /sbin/ipvsadm -C # Add an IP virtual service for VIP 192.168.0.219 port 80 # In this recipe, we will use the round-robin scheduling method. # In production, however, you should use a weighted, dynamic scheduling method. /sbin/ipvsadm -A -t $VIP:80 -s wrr # Now direct packets for this VIP to # the real server IP (RIP) inside the cluster /sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1 /sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 1 /sbin/ipvsadm -a -t $VIP:80 -r $RIP3 -g -w 1 ;; stop) # Stop forwarding packets echo 0 > /proc/sys/net/ipv4/ip_forward # Reset ipvsadm /sbin/ipvsadm -C # Bring down the VIP interface /sbin/ifconfig ens34:0 down # echo "ipvs is stopped..." ;; *) echo "Usage: $0 {start|stop}" ;; esac
将上述内容保存在/etc/init.d/lvs-director文件中,而后添加到服务:
[root@lvs ~]# chmod +x /etc/init.d/lvs-director # 添加脚本执行权限 [root@lvs ~]# chkconfig --add lvs-director # 添加脚本到服务当中 [root@lvs ~]# chkconfig lvs-director on # 设置为开机自启动服务 [root@lvs ~]# /etc/init.d/lvs-director start # 启动脚本
客户端脚本 #!/bin/bash # # Script to start LVS DR real server. # chkconfig: - 90 10 # description: LVS DR real server # . /etc/rc.d/init.d/functions VIP=172.25.0.100 host=`/bin/hostname` case "$1" in start) # Start LVS-DR real server on this machine. /sbin/ifconfig lo down /sbin/ifconfig lo up echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore #只响应目的IP地址为接收网卡上的本地地址的arp请求 echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce # 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通讯的本地地址. echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #配置全部网卡只响应本身接口上的ip的arp请求,其他的忽略。 echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #必须避免将接口信息向非本网络进行通告 /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up /sbin/route add -host $VIP dev lo:0 ;; stop) # Stop LVS-DR real server loopback device(s). /sbin/ifconfig lo:0 down echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce ;; *) # Invalid entry. echo "$0: Usage: $0 {start||stop}" exit 1 ;; esac
保存至/etc/init.d/lvs-rs,并赋予执行权限,而后添加为开机启动:
[root@web1~]# chmod +x /etc/init.d/lvs-rs [root@web1 ~]# chkconfig --add lvs-rs [root@web1 ~]# chkconfig lvs-rs on [root@web1 ~]# /etc/init.d/lvs-rs start
web2和web3采用彻底相同的配置便可。
实验测试
在web一、web2和web3上写入不一样的站点内容,而后访问172.25.0.100。访问调度器的网址,看是否每次访问的站点内容都是不一样的。(windows中的浏览器有缓存功能,若是站点内容有时候是相同的,那么不必定是本身配错了,多是缓存的缘由,避免的办法就是使用Linux的curl命令去访问站点的内容)
参考文献
十3、WEB后端服务器配置
客户端脚本
#!/bin/bash
. /etc/rc.d/init.d/functions
VIP=172.25.0.100
host=/bin/hostname
case "$1" in
start)
/sbin/ifconfig lo down /sbin/ifconfig lo up echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore #只响应目的IP地址为接收网卡上的本地地址的arp请求 echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce # 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通讯的本地地址. echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #配置全部网卡只响应本身接口上的ip的arp请求,其他的忽略。 echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #必须避免将接口信息向非本网络进行通告 /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up /sbin/route add -host $VIP dev lo:0
;;
stop)
# Stop LVS-DR real server loopback device(s). /sbin/ifconfig lo:0 down echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "$0: Usage: $0 {start||stop}" exit 1
;;
esac
保存至/etc/init.d/lvs-rs,并赋予执行权限,而后添加为开机启动:
[root@web1~]# chmod +x /etc/init.d/lvs-rs [root@web1 ~]# chkconfig --add lvs-rs [root@web1 ~]# chkconfig lvs-rs on [root@web1 ~]# /etc/init.d/lvs-rs start
web2和web3采用彻底相同的配置便可。
实验测试
在web一、web2和web3上写入不一样的站点内容,而后访问172.25.0.100。访问调度器的网址,看是否每次访问的站点内容都是不一样的。(windows中的浏览器有缓存功能,若是站点内容有时候是相同的,那么不必定是本身配错了,多是缓存的缘由,避免的办法就是使用Linux的curl命令去访问站点的内容)
参考文献
http://www.javashuo.com/article/p-sxgzfcbd-bc.html
http://www.javashuo.com/article/p-xfywiofz-be.html