高负载集群实战之lvs负载均衡-技术流ken

 

lvs简介

LVS的英文全称是Linux Virtual Server，即Linux虚拟服务器。

特色

跨平台：window,linux

做用

实现负载均衡

核心组件

ip_vs：linux的内核功能模块，工做在内核，依赖该内核模块实现负载均衡功能

ipvsadm：应用层程序，该程序能够和内核中的ip_vs模块通讯，实现对负载均衡的管理和控制

优势

LVS主要用于多服务器的负载均衡。它工做在网络层，能够实现高性能，高可用的服务器集群技术。它廉价，可把许多低性能的服务器组合在一块儿造成一个超级服务器。它易用，配置很是简单，且有多种负载均衡的方法。它稳定可靠，即便在集群的服务器中某台服务器没法正常工做，也不影响总体效果。另外可扩展性也很是好。

补充

keepalived也能够对ip_vs进行管理

 

相关术语

1. DS：Director Server。指的是前端负载均衡器节点。
2. RS：Real Server。后端真实的工做服务器。
3. VIP：向外部直接面向用户请求，做为用户请求的目标的IP地址。
4. DIP：Director Server IP，主要用于和内部主机通信的IP地址。
5. RIP：Real Server IP，后端服务器的IP地址。
6. CIP：Client IP，访问客户端的IP地址。

 

LVS的工做模式

DR

NAT

TUN

FULLNAT

 

LVS的调度算法

【所谓的算法：DR按照什么规则来从多个RS中筛选出来一个给用户提供服务】

动态算法：DR会实时的检测后端的RS的负载状况，将新用户的请求调度到一个负载较少的RS之上

静态算法：不管后端的RS当前的服务器负载状况怎么样，都安装固定的方式来给RS分配用户请求

静态算法

rr：Round Bobin，轮询，将客户端的请求交替分配给RS

wrr：Weighted Round Bobin，加权轮询，根据RS的性能不一样，让他们来承担不一样比例的用户请求

dh：Destination Hashing，目标地址哈希调度，基于用户所请求的地址作哈希表

做用：实现将对于相同的地址(rs)的请求调度到同一个RS之上

使用场景：适应于前端是一个DR，后端是多个cache的时候

sh：Source Hashing，源地址的哈希调度，基于用户的ip地址作哈希表

做用：实现将同一个客户端调度到相同的RS之上

动态算法

lc：Least Connection，最小链接数调度，本质是调度到当前负载最低的主机上

overhead=active*256+inactive

wlc：Weighted Least Connection，加权最小链接数调度，本质是调度到当前负载最低的主机上

overhead=(active*256+inactive)/weight

SED：是wlc补充，为了下降overhead出现重复的状况

overhead=((active+1)*256+inactive))/weight

NQ：Never queue，算法基本和sed相同，为了不性能差的RS长时间处于空闲状态

lblc：基于目标地址的最小链接数调度，这种算法那是lc和dh的组合，适应于cache场景

lblcr：带有复制功能的lblc

 

ipvsadm的使用格式

ipvsadm的使用格式 ipvsadm -A|E -t|u|f service-address:port [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine]    <<添加一个lvs服务器 ipvsadm -D -t|u|f service-address                  <<删除一个lvs服务器 ipvsadm -C <<清空规则表 ipvsadm -R <<从标准输入恢复规则表 ipvsadm -S [-n]                          <<使用service ipvsadm save便可 ipvsadm -a|e -t|u|f service-address -r server-address [options] <<添加一个后端web服务 ipvsadm -d -t|u|f service-address -r server-address          <<删除一个后端web服务 ipvsadm -L|l [options]                              << 显示lvs中的规则表 ipvsadm -Z [-t|u|f service-address] ipvsadm --set tcp tcpfin udp ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid] ipvsadm --stop-daemon state ipvsadm -h

 

ipvsad的选项参数

-A：添加一个虚拟服务（添加vip）[至关于负载均衡哪一个服务器] -E：编辑修改一个虚拟服务 -D：删除虚拟服务 -C：清空规则表 -R：从标准输入恢复规则表 --save|-S：将当前内存中的规则保存到标准输出 -a：指定在虚拟服务中添加RS节点 [添加后端的web服务器] -e：指定在虚拟服务中编辑修改RS节点 -d：指定在虚拟服务中删除RS节点 -L|-l：显示lvs中的规则表 << ipvsadm -L -n --stats -Z：将计数器清零 -t service-address[:port]：该规则是对tcp协议的请求作调度 -u service-address[:port]：该规则是对udp协议的请求作调度 -f：表示这个请求是通过iptables所标记过的服务类型 -r: 指定真实服务器的地址(remote) -s scheduler：指定该规则要用的调度算法（rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq） -p [time]：指定在屡次时间之内，将相同的客户端调度到相同的后端节点之上，默认时间300s -w：设置RS节点的权重 -g：指定用DR模式（默认） -i：指定用tunnel模式 -m：指定用nat模式

 

ipvsadm主要配置文件

说明：lvs主要文件说明

/etc/rc.d/init.d/ipvsadm：sysV风格服务管理脚本

/etc/sysconfig/ipvsadm-config：配置文件

/sbin/ipvsadm：用于配置lvs规则的工具

/sbin/ipvsadm-restore：恢复或者读取规则到内存的工具

/sbin/ipvsadm-save：保存内存中的规则的工具

【默认状况下，所配置的规则都是保存在内存中的】

 

LVS的DR模式实战

1.准备环境

centos7.5

DR1  172.20.10.2/28

WEB1 172.20.10.8/28

WEB2 172.20.10.8/28

VIP  172.20.10.11/28

 2.配置服务器端

安装依赖包

[root@ken ~]# yum install libnl* popt* kernel-devel -y

给安装的内核开发库作链接

[root@ken ~]# ln -s /usr/src/kernels/3.10.0-862.el7.x86_64/ /usr/src/linux/

安装lvs

[root@ken ~]# yum install ipvsadm -y

添加一个vip

[root@ken ~]# ip a a 172.20.10.11/28 dev eth0

添加一个虚拟服务器

[root@ken ~]# ipvsadm -A -t 172.20.10.11:80 -s rr

在虚拟服务器中添加后端服务器

[root@ken ~]# ipvsadm -a -t 172.20.10.11:80 -r 172.20.10.9:80 -w 1 -g [root@ken ~]# ipvsadm -a -t 172.20.10.11:80 -r 172.20.10.8:80 -w 1 -g

查看规则

[root@ken ~]# ipvsadm -L -n --stats IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes -> RemoteAddress:Port TCP 172.20.10.11:80                     0        0        0        0        0
  -> 172.20.10.8:80                      0        0        0        0        0
  -> 172.20.10.9:80                      0        0        0        0        0

3.配置客户端

两台客户端配置保持彻底相同，除了测试文件以外。

安装配置web服务器

[root@ken ~]# yum install httpd -y [root@ken ~]# echo "this is 172.20.10.9 for test" >/var/www/html/index.html [root@ken ~]# systemctl restart http

给RS绑定虚拟IP

[root@ken ~]# ip a a 172.20.10.11/32 dev lo:0

在RS作ARP抑制

[root@ken ~]# echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore [root@ken ~]# echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore [root@ken ~]# echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce [root@ken ~]# echo "2">/proc/sys/net/ipv4/conf/all/arp_announce

 

关闭安全服务

[root@ken ~]# setenforce 0 [root@ken ~]# iptables -F

 

浏览器测试

输入VIP地址

进行刷新测试

测试完成！

 

补充

关于arp抑制

做用：设置不对某些arp请求作应答

实现原理：修改内核参数 /proc/sys/net/ipv4/conf/

 

控制方式1：arp_ignore

0：默认，表示的当该主机收到arp请求，只有该主机有所请求的哪一个IP地址，就会给对方作成应答

1：只对哪些请求的目标IP是当前主机的网卡接口(这个接口就是插着网线的接口)上的地址的时候，才会作出应答

 

控制方式2：arp_announced

做用：限制当前主机作arp应该的条件（也就是限制当用户所请的ip是哪一个IP的时候，才作arp应答）

0：默认值，表示在任意网络接口上的IP均可以作arp应答

1：优先使用本地的接口作arp应答

2：优先使用子接口作arp应答