LVS+Nginx(LVS + Keepalived + Nginx安装及配置)

(也能够每一个nginx都挂在上全部的应用服务器) 

nginx你们都在用，估计也很熟悉了，在作负载均衡时很好用，安装简单、配置简单、相关材料也特别多。

lvs是国内的章文嵩博士的大做，比nginx被普遍接受还要早7年，而且已经被红帽做为了系统内置软件，可谓很牛了。lvs相对于nginx来讲配置上就要相对复杂一些。

可是，有时候咱们会看到大牛们分享的经验里面是lvs+nginx做为负载均衡了，一直想不明白这是个什么道理。

为何会出现二者被同时使用呢？其实，这要从二者的各自优点来讲了。

nginx用来作http的反向代理，可以upsteam实现http请求的多种方式的均衡转发。因为采用的是异步转发能够作到若是一个服务器请求失败，当即切换到其余服务器，直到请求成功或者最后一台服务器失败为止。这能够最大程度的提升系统的请求成功率。

lvs采用的是同步请求转发的策略。这里说一下同步转发和异步转发的区别。同步转发是在lvs服务器接收到请求以后，当即redirect到一个后端服务器，由客户端直接和后端服务器创建链接。异步转发是nginx在保持客户端链接的同时，发起一个相同内容的新请求到后端，等后端返回结果后，由nginx返回给客户端。

进一步来讲：当作为负载均衡服务器的nginx和lvs处理相同的请求时，全部的请求和响应流量都会通过nginx；可是使用lvs时，仅请求流量通过lvs的网络，响应流量由后端服务器的网络返回。

也就是，看成为后端的服务器规模庞大时，nginx的网络带宽就成了一个巨大的瓶颈。

可是仅仅使用lvs做为负载均衡的话，一旦后端接受到请求的服务器出了问题，那么此次请求就失败了。可是若是在lvs的后端在添加一层nginx（多个），每一个nginx后端再有几台应用服务器，那么结合二者的优点，既能避免单nginx的流量集中瓶颈，又能避免单lvs时一锤子买卖的问题。

参考文章： 
章文嵩：LVS项目介绍 
moon：强大的nginx反向代理异步传输模式（原理） 

yaoweibin:nginx健康检查 
追马博客：LVS+keepalived+nginx+tomcat部署实现

补充（20160731 下午2：07）：

在后续继续了解这部份内容时，发现了这两个帖子： 
1. 有了LVS，还要apache，nginx有什么用？ 
2.从一个开发的角度看负载均衡和LVS—–注意看最后一个lvs集群化的图，nginx和rs是一对一链接的。

从以上文章来看，lvs+nginx组合使用的缘由主要是用lvs来作负载均衡（由于工做在4层，效率高），nginx来作静态文件的处理。

这里第二篇文章，和lvs的后续维护者之一的[吴佳明_普空的ppt](http://velocity.oreilly.com.cn/2012/ppts/pukong.pdf 
)中比章博士的文章中多出了一种转发模式，也就是full_nat模式，这种模式下，全部的响应也要通过lvs服务器做为出口返回给客户端。

lvs在full_nat的模式下，是否仍是同步的模式呢？我猜测应该是的，由于lvs工做在4层，因此可能当前出错的响应要映射到以前的那一次请求（由于没有解析http包），因此也就作不到把错误转发到其余的应用服务器上从新处理。

另外，这个补充是否是就彻底的否认了昨天（也就是补充以前的那一大段）的内容呢？我以为并无。昨天的理解可能不是正规大型互联网在使用的模式（固然，这里我不能肯定，由于我没有大型互联网的经验），可是理论应该是对的。

具体一点，lvs+nginx的组合nginx用来作静态文件的处理的场景下，若是一次请求失败了，那么久不能被从新处理了，固然你的nginx也能够后挂1个以上的应用服务器（这样的话nginx实质上也是起到了lvs均衡补充的效果）。另外就是，nginx不是单单的做为静态文件的处理，而是做为lvs的一个补充，互相弥补均衡上的不足。

那么你可能会说lvs在4层上处理的高效就不复存在了，确实是的，这点要认可，可是，咱们提升了系统请求的成功率，二者须要各自去选择和权衡。

另外，须要说的一点是，静态内容其实咱们还能够借助cdn去处理，而不是单单的依靠nginx或者apache去处理。

补充（2016年12月17日 上午11：24）

如今到了比较大一些的互联网公司，也看了京东的用法（能够看开涛的nginx+lua系列http://www.iteye.com/blogs/subjects/nginx-lua）。

lvs+nginx的使用中，nginx还能够做为一个中间环节来减少后端tomcat的服务压力，以及作一些业务切换、分流、前置缓存的功能。

 

LVS + Keepalived + Nginx安装及配置

 

一、概述

上篇文章《架构设计：负载均衡层设计方案（6）——Nginx + Keepalived构建高可用的负载层》(http://blog.csdn.net/yinwenjie/article/details/47130609) 咱们讲解了Nginx的故障切换，而且承诺各位读者会尽快讲解 LVS + Keepalived + Nginx的安装和配置。在中间因为工做的缘由，我又插写了三篇关于zookeeper的原理使用的文章。今天这边文章咱们回归主题，为各位读者讲解 LVS + Keepalived + Nginx的安装及配置。

二、安装计划和准备工做

下图，咱们表示了本篇文章要搭建的整个集成架构的抽象结构：

咱们采用两个LVS节点（141和142），可是一个时间工做的只有一个LVS节点，另外一个始终处于热备standby状态，由keepalived监控这两个节点的工做状态并完成切换。

在LVS节点下，咱们采用LVS-DR工做模式挂载了两个Nginx节点（13一、132）。并最终将外网请求交由这两个节点进行处理。注意：在实际工做中，Nginx下面通常就是访问静态资源、动态资源的配置了。

2-一、准备两个keepalived节点

首先咱们在将要安装LVS的两个节点上，先安装keepalived，并保证这两个keepalived节点可以正常工做（监控批次的状态）。固然，您也能够先准备LVS，在准备keepalived。

我想准备keepalived节点，你们应该轻车熟路了吧，在《架构设计：负载均衡层设计方案（6）——Nginx + Keepalived构建高可用的负载层》这篇文章中详细介绍了keepalived的最简配置方式。为了你们阅读方便，咱们在这里再进行依次简要说明。准备keepalived的整个过程包括：

1. 安装必要的支撑组件，源码安装keepalived
2. 将keepalived注册成节点的服务，以便保证keepalived在节点启动时就开始工做
3. 更改keepalived的配置文件，让其能够正常工做
4. 验证准备工做

=============安装keepalived

[root@lvs1 ~]# yum install -y zlib zlib-devel gcc gcc-c++ openssl openssl-devel openssh [root@lvs1 ~]# tar -zxvf keepalived-1.2.17.tar.gz [root@lvs1 ~]# cd keepalived-1.2.17 [root@lvs1 ~]# ./configure --perfix=/usr/keepalived-1.2.17 [root@lvs1 ~]# make & make install 

 

=============将keepalived注册成服务（若是您使用的默认路径安装，就不须要cp命令了）

[root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/sysconfig/keepalived /etc/sysconfig/keepalived [root@lvs1 ~]# cp /usr/keepalived-1.2.17/sbin/keepalived /usr/sbin/keepalived [root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/keepalived [root@lvs1 ~]# mkdir /etc/keepalived [root@lvs1 ~]# cp /usr/keepalived-1.2.17/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf [root@lvs1 ~]# 能够作成服务了（不要拷贝，没用的） [root@lvs1 ~]# chkconfig keepalived on

这里咱们先设置浮动ip

设置ＶＩＰ的信息

 ifconfig eth0:0 192.168.220.140 broadcast 192.168.220.140 netmask 255.255.255.255 up

route add -host 192.168.220.140 dev eth0:0　　　　　

作成服务后，先不要急着启动，由于配置文件尚未改好。 
========配置keepalived（配置文件在：/etc/keepalived/keepalived.conf）

! Configuration File for keepalived global_defs { #notification_email { # acassen@firewall.loc # failover@firewall.loc # sysadmin@firewall.loc #} #notification_email_from Alexandre.Cassen@firewall.loc #smtp_server 192.168.200.1 #smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_instance VI_1 { #141节点设置为MASTER，142或者还有其余的节点设置为BACKUP #还记得咱们前面文章讲到的无抢占设置吗？这里也能够用哦。 state MASTER #网络适配器名称 interface eth0 virtual_router_id 51 #全部的SLAVE节点的优先级都要比这个设置值低 priority 120 advert_int 1 #真实ip，142要改为相应的lvs节点真实ip mcast_src_ip=192.168.220.141 authentication { auth_type PASS auth_pass 1111 } #虚拟/浮动IP virtual_ipaddress { 192.168.220.140 } }

 

以上配置仍是最简单的keepalived配置，由于咱们尚未加上配合LVS使用的虚拟ip监测设置和下层真实ip监测的设置。最简配置主要是为了保证keepalived节点是工做正常的。

将以上的配置分别对应到LVS的两个节点（注意要改动的地方哦）

==========进行keepalived工做状态的检查：

[root@lvs1 ~]# /etc/init.d/keepalived start

 

如今设置为MASTER的keepalived节点（或者在非抢占模式下，优先级最高的那个节点），已经绑定了140这个虚拟ip了：

[root@lvs2 ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:39:75:9f brd ff:ff:ff:ff:ff:ff inet 192.168.220.141/24 brd 192.168.220.255 scope global eth0 inet 192.168.220.140/32 scope global eth0 inet6 fe80::20c:29ff:fe39:759f/64 scope link valid_lft forever preferred_lft forever

 

固然您也能够经过 /var/log/message的日志进行keepalived是否正常工做的验证。

2-二、继续两个keepalived节点上准备LVS

准备lvs的工做就太简单了，由于centos6.四、6.五、6.6都已经集成了LVS的核心，咱们只须要安装LVS的管理工具就好了：

（１）若是要源码安装的话：

这里源码安装ipvsadm(http://www.linuxidc.com/Linux/2016-03/129232.htm)
yum install kernel-devel -y
yum -y install popt popt-devel libnl libnl-devel popt-static(我尝试过要是不安装的话就会报错)
ln -s /usr/src/kernels/2.6.32-642.4.2.el6.x86_64/ /usr/src/linux
wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
tar xf ipvsadm-1.25.tar.gz
cd ipvsadm-1.25
make && make install
而后咱们检测一下
ipvsadm   是否有内容输出
（２）若是yum安装的话

两个LVS节点都执行：

yum -y install ipvsadm

 

还记得lvs管理工具怎么使用吗？请参见我介绍LVS单节点安装的博文：《架构设计：负载均衡层设计方案（5）——LVS单节点安装》。这里为了方便阅读，给出主要参数的含义列表：

-A –add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增长一台新的虚拟服务器。 -E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。 -D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。 -C –clear 清除内核虚拟服务器表中的全部记录。 -R –restore 恢复虚拟服务器规则 -S –save 保存虚拟服务器规则，输出为-R 选项可读的格式 -a –add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增长一台新的真实服务器 -e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录 -d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录 -L –list 显示内核虚拟服务器表 -Z –zero 虚拟服务表计数器清零（清空当前的链接数量等） –set tcp tcpfin udp 设置链接超时值 –start-daemon 启动同步守护进程。他后面能够是master 或backup，用来讲明LVS Router 是master 或是backup。在这个功能上也能够采用keepalived 的VRRP 功能。 –stop-daemon 中止同步守护进程 -t –tcp-service service-address 说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port] -u –udp-service service-address 说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port] -f –fwmark-service fwmark 说明是通过iptables 标记过的服务类型。 -s –scheduler scheduler 使用的调度算法，选项：rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, 默认的调度算法是： wlc. -p –persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的屡次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。 -M –netmask netmask persistent granularity mask -r –real-server server-address 真实的服务器[Real-Server:port] -g –gatewaying 指定LVS 的工做模式为直接路由模式DR模式（也是LVS默认的模式） -i –ipip 指定LVS 的工做模式为隧道模式 -m –masquerading 指定LVS 的工做模式为NAT 模式 -w –weight weight 真实服务器的权值 –mcast-interface interface 指定组播的同步接口 –connection 显示LVS 目前的链接 如：ipvsadm -L -c –timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L –timeout –daemon 显示同步守护进程状态 –stats 显示统计信息 –rate 显示速率信息 –sort 对虚拟服务器和真实服务器排序输出 –numeric -n 输出IP 地址和端口的数字形式

 

到后面正式启动LVS的时候，就不要问我参数含义咯。^_^

2-三、准备两个Nginx节点并保证可用

在《架构设计：负载均衡层设计方案（5）——LVS单节点安装》(http://blog.csdn.net/yinwenjie/article/details/47010569) 这篇文章中，咱们详细讲解了Nginx节点的准备工做，可是为了方便各位读者阅读，这里咱们大体再讲一下。

Nginx节点的准备工做主要由如下步骤构成（这个不是本文的重点，点到便可）：

1. 安装Nginx（固然，正式系统中，还涉及到Nginx的参数调优，能够参见《架构设计：负载均衡层设计方案（2）——Nginx安装》这篇文章）
2. 打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能
3. 将VIP：192.168.220.140 设置成Nginx所在节点的回环IP

=============安装Nginx

[root@vm1 ~]# yum -y install make zlib zlib-devel gcc gcc-c++ ssh libtool pcre* [root@vm1 ~]# 下载nginx（别拷贝，不能执行的） [root@vm1 ~]# 解压nginx（别拷贝，不能执行的） [root@vm1 ~]# ./configure –prefix=/usr/nginx-1.8.0 [root@vm1 ~]# make && make install [root@vm1 ~]# 设置环境变量（别拷贝，不能执行的） [root@vm1 ~]# 启动nginx

 

=============打开Nginx所在服务器的“路由”功能、关闭“ARP查询”功能

[root@vm1 ~]# echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore [root@vm1 ~]# echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce [root@vm1 ~]# echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore [root@vm1 ~]# echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

 

=============设置回环IP

[root@vm1 ~]# ifconfig lo:0 192.168.220.140 broadcast 192.168.220.140 netmask 255.255.255.255 up [root@vm1 ~]# route add -host 192.168.220.140 dev lo:0

 

两台Nginx的节点都按照这样的方法去设置。而后使用浏览器，看看这两个节点的Nginx是否工做正常：

我这里在作实验的时候忘了把防火墙和selinux关了，因此浏览器访问不了。不要忘了关哦

咱们能够把nginx的首页改一下以便分辨区别

=====

2-四、其余说明

keepalived和LVS是天生配合完美的一对，LVS负责进行请求转发不负责任何节点的健康监测；keepalived负责监控整个环境中，包括虚拟ip，真实ip对应的下层节点的健康状态监测。

三、开始配置：LVS-DR工做模式

3-一、keepalived的更改——健康监测

首先咱们要更改以前配置的“最简keepalived”配置，让keepalived可以对结构中全部节点和虚拟ip的健康状态进行监测。更改配置和含义以下：

! Configuration File for keepalived global_defs { #notification_email { # acassen@firewall.loc # failover@firewall.loc # sysadmin@firewall.loc #} #notification_email_from Alexandre.Cassen@firewall.loc #smtp_server 192.168.200.1 #smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_instance VI_1 { #141节点设置为MASTER，142或者还有其余的节点设置为BACKUP #还记得咱们前面文章讲到的无抢占设置吗？这里也能够用哦。 state MASTER #网络适配器名称 interface eth0 virtual_router_id 51 #全部的SLAVE节点的优先级都要比这个设置值低 priority 120 advert_int 1 #真实ip，142要改为相应的lvs节点真实ip mcast_src_ip=192.168.220.141 authentication { auth_type PASS auth_pass 1111 } #虚拟/浮动IP virtual_ipaddress { 192.168.220.140 } } virtual_server 192.168.220.140 80 { #健康时间检查，单位秒 delay_loop 6 #负载均衡调度算法wlc|rr，和您将使用的LVS的调度算法保持原则一致 lb_algo rr #负载均衡转发规则 DR NAT TUN。和您将启动的LVS的工做模式设置一致 lb_kind DR #虚拟地址的子网掩码 nat_mask 255.255.255.0 #会话保持时间，由于咱们常用的是无状态的集群架构，因此这个设置无关紧要 #persistence_timeout 50 #转发协议，固然是TCP protocol TCP #真实的下层Nginx节点的健康监测 real_server 192.168.220.131 80 { #节点权重， weight 10 #设置检查方式，能够设置HTTP_GET | SSL_GET HTTP_GET { url { path / digest ff20ad2481f97b1754ef3e12ecd3a9cc } #超时时间，秒。若是在这个时间内没有返回，则说明一次监测失败 connect_timeout 3 #设置多少次监测失败，就认为这个真实节点死掉了 nb_get_retry 3 #重试间隔 delay_before_retry 3 } } real_server 192.168.220.132 80 { weight 10 HTTP_GET { url { path / digest 640205b7b0fc66c1ea91c463fac6334d } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } }

 

这样一来，keepalived就能够检查整个架构中的全部节点状态了。另外要说明的是，这个检查过程并非必须的，您使用keepalived的最简配置也是能够的，不过您就须要本身写监测脚本了（道理是同样的）。

3-二、启动两个LVS节点

启动LVS的过程就太简单了（两个节点都是同样的启动方式）：

[root@lvs2 ~]# ipvsadm -C [root@lvs2 ~]# ipvsadm -At 192.168.220.140:80 -s rr [root@lvs2 ~]# ipvsadm -at 192.168.220.140:80 -r 192.168.220.131 -g [root@lvs2 ~]# ipvsadm -at 192.168.220.140:80 -r 192.168.220.132 -g [root@lvs2 ~]# 而后咱们可使用ipvsadm 监控目前LVS的状态 [root@lvs2 ~]# ipvsadm

 

注意：处于standby的lvs1节点也要这样进行设置。 
还有，以上的LVS的设置，和real server上的设置，在重启后都会消失，因此必定要作成脚本哦。

四、验证工做

这样LVS + Keepalived + Nginx方式的配置就作完了。如今咱们进行搭建效果的监测：

4-一、验证Master-LVS节点的工做

咱们使用两个不一样的浏览器，验证Master-LVS节点的工做：

=========浏览器1： 

=========浏览器2： 

看来140这个VIP下的LVS工做是正常的。

4-二、验证Master-LVS节点中止后的效果

下面咱们中止Master-LVS1：

[root@lvs2 ~]# service keepalived stop

 

在经历了一些访问停顿后，浏览器1显示的效果以下（这就是为何keepalived最好设置为非抢占模式）：

五、后文介绍

好了，到这里负载均衡层所使用的几个标准工具就介绍完了。下一篇文章咱们将进行总结，而后进入架构设计：业务层设计方案 的系列文章。在下一个系列文章中，咱们将介绍至少两套SOA的实现、至少两套系统间通讯使用的消息队列。哦，应我朋友的要求，我会专门写几篇文章，介绍Java中线程的基础知识和进阶知识。

 

文章转自：http://blog.csdn.net/yinwenjie/article/details/47211551