大型网站架构系列：负载均衡详解[转]

1、软件负载均衡概述

硬件负载均衡性能优越，功能全面，可是价格昂贵，通常适合初期或者土豪级公司长期使用。所以软件负载均衡在互联网领域大量使用。经常使用的软件负载均衡软件有Nginx，Lvs，HaProxy等。本文参考大量文档，部分为直接拷贝，参考出处文末。

2、Ngnix负载均衡

Ngnix是一款轻量级的Web服务器/反向代理服务器，工做在七层Http协议的负载均衡系统。具备高性能、高并发、低内存使用等特色。是一个轻量级的Http和反向代理服务器。Nginx使用epoll and kqueue做为开发模型。可以支持高达 50,000 个并发链接数的响应。

操做系统：Liunx，Windows（Linux、FreeBSD、Solaris、Mac OS X、AIX以及Microsoft Windows）

开发语言：C

并发性能：官方支持每秒5万并发，实际国内通常到每秒2万并发，有优化到每秒10万并发的。具体性能看应用场景。

2.1.特色

1.模块化设计：良好的扩展性，能够经过模块方式进行功能扩展。

2.高可靠性：主控进程和worker是同步实现的，一个worker出现问题，会马上启动另外一个worker。

3.内存消耗低：一万个长链接（keep-alive）,仅消耗2.5MB内存。

4.支持热部署：不用中止服务器，实现更新配置文件，更换日志文件、更新服务器程序版本。

5.并发能力强：官方数据每秒支持5万并发；

6.功能丰富：优秀的反向代理功能和灵活的负载均衡策略

2.2.功能

2.2.1基本功能

支持静态资源的web服务器。

http,smtp,pop3协议的反向代理服务器、缓存、负载均衡；

支持FASTCGI（fpm）

支持模块化，过滤器（让文本能够实现压缩，节约带宽）,ssl及图像大小调整。

内置的健康检查功能

基于名称和ip的虚拟主机

定制访问日志

支持平滑升级

支持KEEPALIVE

支持url rewrite

支持路径别名

支持基于IP和用户名的访问控制。

支持传输速率限制，支持并发数限制。

2.2.2扩展功能

2.2.3性能

Nginx的高并发，官方测试支持5万并发链接。实际生产环境能到2-3万并发链接数。10000个非活跃的HTTP keep-alive 链接仅占用约2.5MB内存。三万并发链接下，10个Nginx进程，消耗内存150M。淘宝tengine团队测试结果是“24G内存机器上，处理并发请求可达200万”。

2.3架构

2.3.1Nginx的基本工做模式

 

 

一个master进程，生成一个或者多个worker进程。可是这里master是使用root身份启动的，由于nginx要工做在80端口。而只有管理员才有权限启动小于低于1023的端口。master主要是负责的做用只是启动worker，加载配置文件，负责系统的平滑升级。其它的工做是交给worker。那么当worker被启动以后，也只是负责一些web最简单的工做，而其余的工做都是有worker中调用的模块来实现的。

模块之间是以流水线的方式实现功能的。流水线，指的是一个用户请求，由多个模块组合各自的功能依次实现完成的。好比：第一个模块只负责分析请求首部，第二个模块只负责查找数据，第三个模块只负责压缩数据，依次完成各自工做。来实现整个工做的完成。 

他们是如何实现热部署的呢？实际上是这样的，咱们前面说master不负责具体的工做，而是调用worker工做，他只是负责读取配置文件，所以当一个模块修改或者配置文件发生变化，是由master进行读取，所以此时不会影响到worker工做。在master进行读取配置文件以后，不会当即的把修改的配置文件告知worker。而是让被修改的worker继续使用老的配置文件工做，当worker工做完毕以后，直接当掉这个子进程，更换新的子进程，使用新的规则。

2.3.2Nginx支持的sendfile机制

Sendfile机制，用户将请求发给内核，内核根据用户的请求调用相应用户进程，进程在处理时须要资源。此时再把请求发给内核（进程没有直接IO的能力），由内核加载数据。内核查找到数据以后，会把数据复制给用户进程，由用户进程对数据进行封装，以后交给内核，内核在进行tcp/ip首部的封装，最后再发给客户端。这个功能用户进程只是发生了一个封装报文的过程，却要绕一大圈。所以nginx引入了sendfile机制，使得内核在接受到数据以后，再也不依靠用户进程给予封装，而是本身查找本身封装，减小了一个很长一段时间的浪费，这是一个提高性能的核心点。

 

以上内容摘自网友发布的文章，简单一句话是资源的处理，直接经过内核层进行数据传递，避免了数据传递到应用层，应用层再传递到内核层的开销。

目前高并发的处理，通常都采用sendfile模式。经过直接操做内核层数据，减小应用与内核层数据传递。

2.3.3Nginx通讯模型（I/O复用机制）

开发模型：epoll和kqueue。

支持的事件机制：kqueue、epoll、rt signals、/dev/poll 、event ports、select以及poll。

支持的kqueue特性包括EV_CLEAR、EV_DISABLE、NOTE_LOWAT、EV_EOF，可用数据的数量，错误代码.

支持sendfile、sendfile64和sendfilev;文件AIO；DIRECTIO;支持Accept-filters和TCP_DEFER_ACCEP.

以上概念较多，你们自行百度或谷歌，知识领域是网络通讯（BIO,NIO,AIO）和多线程方面的知识。

2.4均衡策略 

nginx的负载均衡策略能够划分为两大类：内置策略和扩展策略。内置策略包含加权轮询和ip hash，在默认状况下这两种策略会编译进nginx内核，只需在nginx配置中指明参数便可。扩展策略有不少，如fair、通用hash、consistent hash等，默认不编译进nginx内核。因为在nginx版本升级中负载均衡的代码没有本质性的变化，所以下面将以nginx1.0.15稳定版为例，从源码角度分析各个策略。

2.4.1. 加权轮询（weighted round robin）

轮询的原理很简单，首先咱们介绍一下轮询的基本流程。以下是处理一次请求的流程图：

图中有两点须要注意，第一，若是能够把加权轮询算法分为先深搜索和先广搜索，那么nginx采用的是先深搜索算法，即将首先将请求都分给高权重的机器，直到该机器的权值降到了比其余机器低，才开始将请求分给下一个高权重的机器；第二，当全部后端机器都down掉时，nginx会当即将全部机器的标志位清成初始状态，以免形成全部的机器都处在timeout的状态，从而致使整个前端被夯住。

2.4.2. ip hash

ip hash是nginx内置的另外一个负载均衡的策略，流程和轮询很相似，只是其中的算法和具体的策略有些变化，以下图所示：

2.4.3. fair

fair策略是扩展策略，默认不被编译进nginx内核。其原理是根据后端服务器的响应时间判断负载状况，从中选出负载最轻的机器进行分流。这种策略具备很强的自适应性，可是实际的网络环境每每不是那么简单，所以要慎用。

2.4.4 通用hash、一致性hash

这两种也是扩展策略，在具体的实现上有些差异，通用hash比较简单，能够以nginx内置的变量为key进行hash，一致性hash采用了nginx内置的一致性hash环，能够支持memcache。

2.5场景

Ngnix通常做为入口负载均衡或内部负载均衡，结合反向代理服务器使用。如下架构示例，仅供参考，具体使用根据场景而定。

2.5.1入口负载均衡架构

Ngnix服务器在用户访问的最前端。根据用户请求再转发到具体的应用服务器或二级负载均衡服务器（LVS）

2.5.2内部负载均衡架构

 

LVS做为入口负载均衡，将请求转发到二级Ngnix服务器，Ngnix再根据请求转发到具体的应用服务器。 

2.5.3Ngnix高可用

分布式系统中，应用只部署一台服务器会存在单点故障，负载均衡一样有相似的问题。通常可采用主备或负载均衡设备集群的方式节约单点故障或高并发请求分流。

Ngnix高可用，至少包含两个Ngnix服务器，一台主服务器，一台备服务器，之间使用Keepalived作健康监控和故障检测。开放VIP端口，经过防火墙进行外部映射。

DNS解析公网的IP实际为VIP。

3、LVS负载均衡

LVS是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立，用来实现Linux平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。

基于IP层的负载均衡调度技术，它在操做系统核心层上，未来自IP层的TCP/UDP请求均衡地转移到不一样的 服务器，从而将一组服务器构成一个高性能、高可用的虚拟服务器。

操做系统：Liunx

开发语言：C

并发性能：默认4096，能够修改但须要从新编译。

3.1.功能

LVS的主要功能是实现IP层（网络层）负载均衡，有NAT,TUN,DR三种请求转发模式。

3.1.1LVS/NAT方式的负载均衡集群

NAT是指Network Address Translation，它的转发流程是：Director机器收到外界请求，改写数据包的目标地址，按相应的调度算法将其发送到相应Real Server上，Real Server处理完该请求后，将结果数据包返回到其默认网关，即Director机器上，Director机器再改写数据包的源地址，最后将其返回给外界。这样就完成一次负载调度。

构架一个最简单的LVS/NAT方式的负载均衡集群Real Server能够是任何的操做系统，并且无需作任何特殊的设定，唯一要作的就是将其默认网关指向Director机器。Real Server可使用局域网的内部IP(192.168.0.0/24)。Director要有两块网卡，一块网卡绑定一个外部IP地址 (10.0.0.1)，另外一块网卡绑定局域网的内部IP(192.168.0.254)，做为Real Server的默认网关。

LVS/NAT方式实现起来最为简单，并且Real Server使用的是内部IP，能够节省Real IP的开销。但由于执行NAT须要重写流经Director的数据包，在速度上有必定延迟；

当用户的请求很是短，而服务器的回应很是大的状况下，会对Director造成很大压力，成为新的瓶颈，从而使整个系统的性能受到限制。

3.1.2LVS/TUN方式的负载均衡集群

TUN是指IP Tunneling，它的转发流程是：Director机器收到外界请求，按相应的调度算法,经过IP隧道发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户。至此完成一次负载调度。

最简单的LVS/TUN方式的负载均衡集群架构使用IP Tunneling技术，在Director机器和Real Server机器之间架设一个IP Tunnel，经过IP Tunnel将负载分配到Real Server机器上。Director和Real Server之间的关系比较松散，能够是在同一个网络中，也能够是在不一样的网络中，只要二者可以经过IP Tunnel相连就行。收到负载分配的Real Server机器处理完后会直接将反馈数据送回给客户，而没必要经过Director机器。实际应用中，服务器必须拥有正式的IP地址用于与客户机直接通讯，而且全部服务器必须支持IP隧道协议。

该方式中Director将客户请求分配到不一样的Real Server，Real Server处理请求后直接回应给用户，这样Director就只处理客户机与服务器的一半链接，极大地提升了Director的调度处理能力，使集群系统能容纳更多的节点数。另外TUN方式中的Real Server能够在任何LAN或WAN上运行，这样能够构筑跨地域的集群，其应对灾难的能力也更强，可是服务器须要为IP封装付出必定的资源开销，并且后端的Real Server必须是支持IP Tunneling的操做系统。

3.3.3LVS/TUN方式的负载均衡集群

DR是指Direct Routing，它的转发流程是：Director机器收到外界请求，按相应的调度算法将其直接发送到相应Real Server，Real Server处理完该请求后，将结果数据包直接返回给客户，完成一次负载调度。

构架一个最简单的LVS/DR方式的负载均衡集群Real Server和Director都在同一个物理网段中，Director的网卡IP是192.168.0.253，再绑定另外一个IP： 192.168.0.254做为对外界的virtual IP，外界客户经过该IP来访问整个集群系统。Real Server在lo上绑定IP：192.168.0.254，同时加入相应的路由。

LVS/DR方式与前面的LVS/TUN方式有些相似，前台的Director机器也是只须要接收和调度外界的请求，而不须要负责返回这些请求的反馈结果，因此可以负载更多的Real Server，提升Director的调度处理能力，使集群系统容纳更多的Real Server。但LVS/DR须要改写请求报文的MAC地址，因此全部服务器必须在同一物理网段内。

3.3架构

LVS架设的服务器集群系统有三个部分组成：最前端的负载均衡层（Loader Balancer），中间的服务器群组层，用Server Array表示，最底层的数据共享存储层，用Shared Storage表示。在用户看来全部的应用都是透明的，用户只是在使用一个虚拟服务器提供的高性能服务。

LVS的体系架构如图：

 

LVS的各个层次的详细介绍：

Load Balancer层：位于整个集群系统的最前端，有一台或者多台负载调度器（Director Server）组成，LVS模块就安装在Director Server上，而Director的主要做用相似于一个路由器，它含有完成LVS功能所设定的路由表，经过这些路由表把用户的请求分发给Server Array层的应用服务器（Real Server）上。同时，在Director Server上还要安装对Real Server服务的监控模块Ldirectord，此模块用于监测各个Real Server服务的健康情况。在Real Server不可用时把它从LVS路由表中剔除，恢复时从新加入。

Server Array层：由一组实际运行应用服务的机器组成，Real Server能够是WEB服务器、MAIL服务器、FTP服务器、DNS服务器、视频服务器中的一个或者多个，每一个Real Server之间经过高速的LAN或分布在各地的WAN相链接。在实际的应用中，Director Server也能够同时兼任Real Server的角色。

Shared Storage层：是为全部Real Server提供共享存储空间和内容一致性的存储区域，在物理上，通常有磁盘阵列设备组成，为了提供内容的一致性，通常能够经过NFS网络文件系统共享数 据，可是NFS在繁忙的业务系统中，性能并非很好，此时能够采用集群文件系统，例如Red hat的GFS文件系统，oracle提供的OCFS2文件系统等。

从整个LVS结构能够看出，Director Server是整个LVS的核心，目前，用于Director Server的操做系统只能是Linux和FreeBSD，linux2.6内核不用任何设置就能够支持LVS功能，而FreeBSD做为 Director Server的应用还不是不少，性能也不是很好。对于Real Server，几乎能够是全部的系统平台，Linux、windows、Solaris、AIX、BSD系列都能很好的支持。

3.4均衡策略

LVS默认支持八种负载均衡策略，简述以下：

3.4.1.轮询调度（Round Robin）

调度器经过“轮询”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而无论服务器上实际的链接数和系统负载。

3.4.2.加权轮询（Weighted Round Robin）

调度器经过“加权轮询”调度算法根据真实服务器的不一样处理能力来调度访问请求。这样能够保证处理能力强的服务器能处理更多的访问流量。调度器能够自动问询真实服务器的负载状况，并动态地调整其权值。

3.4.3.最少连接（Least Connections）

调度器经过“最少链接”调度算法动态地将网络请求调度到已创建的连接数最少的服务器上。若是集群系统的真实服务器具备相近的系统性能，采用“最小链接”调度算法能够较好地均衡负载。

3.4.4.加权最少连接（Weighted Least Connections）

在集群系统中的服务器性能差别较大的状况下，调度器采用“加权最少连接”调度算法优化负载均衡性能，具备较高权值的服务器将承受较大比例的活动链接负载。调度器能够自动问询真实服务器的负载状况，并动态地调整其权值。

3.4.5.基于局部性的最少连接（Locality-Based Least Connections）

“基于局部性的最少连接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工做负载，则用“最少连接” 的原则选出一个可用的服务器，将请求发送到该服务器。

3.4.6.带复制的基于局部性最少连接（Locality-Based Least Connections with Replication）

“带复制的基于局部性最少连接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不一样之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小链接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小链接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以下降复制的程度。

3.4.7.目标地址散列（Destination Hashing）

“目标地址散列”调度算法根据请求的目标IP地址，做为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，不然返回空。

3.4.8.源地址散列（Source Hashing）

“源地址散列”调度算法根据请求的源IP地址，做为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，不然返回空。

除具有以上负载均衡算法外，还能够自定义均衡策略。 

3.5场景

通常做为入口负载均衡或内部负载均衡，结合反向代理服务器使用。相关架构可参考Ngnix场景架构。

四、HaProxy负载均衡

HAProxy也是使用较多的一款负载均衡软件。HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，是免费、快速而且可靠的一种解决方案。特别适用于那些负载特大的web站点。运行模式使得它能够很简单安全的整合到当前的架构中，同时能够保护你的web服务器不被暴露到网络上。

4.1.特色

支持两种代理模式：TCP（四层）和HTTP（七层），支持虚拟主机；

配置简单，支持url检测后端服务器状态；

作负载均衡软件使用，在高并发状况下，处理速度高于nginx；

TCP层多用于Mysql从（读）服务器负载均衡。 （对Mysql进行负载均衡，对后端的DB节点进行检测和负载均衡）

可以补充Nginx的一些缺点好比Session的保持，Cookie引导等工做

4.2.均衡策略

支持四种经常使用算法：

1.roundrobin：轮询，轮流分配到后端服务器；

2.static-rr：根据后端服务器性能分配；

3.leastconn：最小链接者优先处理；

4.source：根据请求源IP，与Nginx的IP_Hash相似。