Nginx（三）--Nginx 的高可用

时间 2019-12-12

标签 nginx 可用栏目 Nginx 繁體版

原文原文链接

1. Nginx 进程模型简介

多进程+多路复用

master 进程、 worker 进程

启动nginx,查看nginx的线程，能够发现：html

[root@localhost ~]# ps -ef |grep nginx
root     20714     1  0 02:36 ?        00:00:00 nginx: master process ../ngnix/sbin/nginx
root     21728 20714  0 05:04 ?        00:00:00 nginx: worker process
root     22694 22655  0 06:49 pts/2    00:00:00 grep nginx
[root@localhost ~]#

worker_processes 1 cpu 总核心数

epoll . select ....

#user nobody; 用户

worker_processes 1; 工做进程数

#error_log logs/error.log;

#error_log logs/error.log notice;

#error_log logs/error.log info;

#pid logs/nginx.pid;

events {

use epoll ; io 模型

worker_connections 1024；理论上 processes* connections

}

1. 在建立master进程时，先创建须要监听的socket（listenfd），而后从master进程中fork()出多个worker进程，如此一来每一个worker进程均可以监听用户请求的socket。通常来讲，当一个链接进来后，全部Worker都会收到通知，可是只有一个进程能够接受这个链接请求，其它的都失败，这是所谓的惊群现象。nginx提供了一个accept_mutex（互斥锁），有了这把锁以后，同一时刻，就只会有一个进程在accpet链接，这样就不会有惊群问题了。java

2. 先打开accept_mutex选项，只有得到了accept_mutex的进程才会去添加accept事件。nginx使用一个叫ngx_accept_disabled的变量来控制是否去竞争accept_mutex锁。ngx_accept_disabled = nginx单进程的全部链接总数 / 8 -空闲链接数量，当ngx_accept_disabled大于0时，不会去尝试获取accept_mutex锁，ngx_accept_disable越大，让出的机会就越多，这样其它进程获取锁的机会也就越大。不去accept，每一个worker进程的链接数就控制下来了，其它进程的链接池就会获得利用，这样，nginx就控制了多进程间链接的平衡。linux

3.每一个worker进程都有一个独立的链接池，链接池的大小是worker_connections。这里的链接池里面保存的其实不是真实的链接，它只是一个worker_connections大小的一个ngx_connection_t结构的数组。而且，nginx会经过一个链表free_connections来保存全部的空闲ngx_connection_t，每次获取一个链接时，就从空闲链接链表中获取一个，用完后，再放回空闲链接链表里面。一个nginx能创建的最大链接数，应该是worker_connections * worker_processes。固然，这里说的是最大链接数，对于HTTP请求本地资源来讲，可以支持的最大并发数量是worker_connections * worker_processes，而若是是HTTP做为反向代理来讲，最大并发数量应该是worker_connections * worker_processes/2。由于做为反向代理服务器，每一个并发会创建与客户端的链接和与后端服务的链接，会占用两个链接。nginx

　　相关的配置：算法

worker_processes  1; // 工做进程数，建议设成CPU总核心数。
events { // 多路复用IO模型机制，epoll . select  ....根据操做系统不一样来选择。linux 默认epoll
    use epoll; //io 模型
    worker_connections  1024; // 每一个woker进程的最大链接数，数值越大，并发量容许越大
}
http{
　　sendfile  on;//开启零拷贝
}

Nginx 的高可用方案

Nginx 做为反向代理服务器，全部的流量都会通过 Nginx，因此 Nginx 自己的可靠性是咱们首先要考虑的问题

keepalived

Keepalived 是 Linux 下一个轻量级别的高可用解决方案，Keepalived 软件起初是专为 LVS 负载均衡软件设计的，

用来管理并监控 LVS 集群系统中各个服务节点的状态，后来又加入了能够实现高可用的 VRRP 功能。所以，Keepalived 除了可以管理 LVS 软件外，

还能够做为其余服务（例如：Nginx、Haproxy、MySQL 等）的高可用解决方案软件Keepalived 软件主要是经过 VRRP 协议实现高可用功能的。

VRRP 是 VirtualRouter RedundancyProtocol(虚拟路由器冗余协议）的缩写，VRRP 出现的目的就是为了解决静态路由单点故障问题的，

它可以保证当个别节点宕机时，整个网络能够不间断地运行;(简单来讲，vrrp 就是把两台或多态路由器设备虚拟成一个设备，实现主备高可用)

因此，Keepalived 一方面具备配置管理 LVS 的功能，同时还具备对 LVS 下面节点进行健康检查的功能，另外一方面也可实现系统网络服务的高可用功能

LVS 是 Linux Virtual Server 的缩写，也就是 Linux 虚拟服务器，在 linux2.4 内核之后，已经彻底内置了 LVS 的各个功能模块。

它是工做在四层的负载均衡，相似于 Haproxy, 主要用于实现对服务器集群的负载均衡。

关于四层负载，咱们知道 osi 网络层次模型的 7 层模模型（应用层、表示层、会话层、传输层、网络层、数据链路层、物理层）；

四层负载就是基于传输层，也就是ip+端口的负载；而七层负载就是须要基于 URL 等应用层的信息来作负载，同时还有二层负载（基于 MAC）、三层负载（IP）；

常见的四层负载有：LVS、F5；七层负载有:Nginx、HAproxy; 在软件层面，Nginx/LVS/HAProxy 是使用得比较普遍的三种负载均衡软件

对于中小型的 Web 应用，可使用 Nginx、大型网站或者重要的服务而且服务比较多的时候，能够考虑使用 LVS

轻量级的高可用解决方案

LVS 四层负载均衡软件（Linux virtual server）

监控 lvs 集群系统中的各个服务节点的状态

VRRP 协议（虚拟路由冗余协议）

linux2.4 之后，是内置在 linux 内核中的

lvs(四层) -> HAproxy 七层

lvs(四层) -> Nginx(七层)

Keepalived 下载地址

https://www.keepalived.org/download.html

实践

\1. 下载 keepalived 的安装包

\2. tar -zxvf keepalived-2.0.7.tar.gz

\3. 在/data/program/目录下建立一个 keepalived 的文件

\4. cd 到 keepalived-2.0.7 目录下，执行 ./configure --prefix=/data/program/keepalived --sysconf=/etc

\5. 若是缺乏依赖库，则 yum install gcc; yum -y install openssl-devel ; yum install libnllibnl-devel ，而后从新执行4

\6. 编译安装 make && make install

报错
make[2]: *** [namespaces.o] Error 1
make[2]: Leaving directory `/root/keepalived-1.2.24/keepalived/core'
make[1]: *** [all-recursive] Error 1
make[1]: Leaving directory `/root/keepalived-1.2.24/keepalived'
make: *** [all-recursive] Error 1

升级了下glib试一下能不能解决
yum update glib*
还不行的话，看一下本身的系统版本，换一个低版本的keepalived
centos6.5+keepalived1.2.7

\7. 进入安装后的路径 cd /data/program/keepalived, 建立软链接: ln -s sbin/keepalived /sbin 覆盖软链接 ln -snf sbin/keepalived /sbin

\8. 复制运行命令 cp /data/program/keepalived-2.0.7/keepalived/etc/init.d/keepalived /etc/init.d （换成本身的版本路径cp /keepalived-2.0.7/keepalived/etc/init.d/keepalived /etc/init.d/）

\9. chkconfig --add keepalived

\10.添加到系统服务 chkconfig keepalived on

\11. 启用该服务service keepalived start

　　service keepalived status 查看keepalived 运行情况

● keepalived.service - LVS and VRRP High Availability Monitor
   Loaded: loaded (/usr/lib/systemd/system/keepalived.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2019-06-03 22:42:50 CST; 5min ago
  Process: 4350 ExecStart=/data/program/keepalived/sbin/keepalived $KEEPALIVED_OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 4579 (keepalived)
   CGroup: /system.slice/keepalived.service
           ├─4579 /data/program/keepalived/sbin/keepalived -D
           └─4583 /data/program/keepalived/sbin/keepalived -D

Jun 03 22:42:59 localhost.localdomain Keepalived_healthcheckers[4583]: Timeout connecting server [192.168.20...3.
Jun 03 22:42:59 localhost.localdomain Keepalived_healthcheckers[4583]: Check on service [192.168.201.100]:tc...d.
Jun 03 22:42:59 localhost.localdomain Keepalived_healthcheckers[4583]: Removing service [192.168.201.100]:tc...43
Jun 03 22:42:59 localhost.localdomain Keepalived_healthcheckers[4583]: Lost quorum 1-0=1 > 0 for VS [192.168...43
Jun 03 22:42:59 localhost.localdomain Keepalived_healthcheckers[4583]: Remote SMTP server [192.168.200.1]:25...d.
Jun 03 22:43:17 localhost.localdomain Keepalived_healthcheckers[4583]: Error reading data from remote SMTP s...5.
Jun 03 22:43:17 localhost.localdomain Keepalived_healthcheckers[4583]: Error reading data from remote SMTP s...5.
Jun 03 22:43:17 localhost.localdomain Keepalived_healthcheckers[4583]: Error reading data from remote SMTP s...5.
Jun 03 22:43:19 localhost.localdomain Keepalived_healthcheckers[4583]: Error reading data from remote SMTP s...5.
Jun 03 22:43:20 localhost.localdomain Keepalived_healthcheckers[4583]: Error reading data from remote SMTP s...5.
Hint: Some lines were ellipsized, use -l to show in full.
[root@localhost keepalived]#

keepalived 的配置

vi /etc/keepalived/keepalived.conf

master

! Configuration File for keepalived
global_defs {
 router_id MASTER_DEVEL #运行 keepalived 服务器的标识，在一个网络内应该是惟一的
}
vrrp_instance VI_1 { #vrrp 实例定义部分
 state MASTER #设置 lvs 的状态，MASTER 和 BACKUP 两种，必须大写
 interface  ens33 #设置对外服务的接口，必须跟本地一致
 virtual_router_id 51 #设置虚拟路由标示，这个标示是一个数字，同一个 vrrp 实例使用惟一标示
 priority 150 #定义优先级，数字越大优先级越高，在一个 vrrp——instance 下，master 的优先级必须大于 backup
 advert_int 1 #设定 master 与 backup 负载均衡器之间同步检查的时间间隔，单位是秒
 authentication { #设置验证类型和密码
 auth_type PASS
 auth_pass 1111 #验证密码，同一个 vrrp_instance 下 MASTER 和 BACKUP 密码必须相同}
 virtual_ipaddress { #设置虚拟 ip 地址，能够设置多个，每行一个
 　　192.168.20.110
 }
}
virtual_server 192.168.20.100 80 { #设置虚拟服务器，须要指定虚拟 ip 和服务端口
 delay_loop 6 #健康检查时间间隔
 lb_algo rr #负载均衡调度算法
 lb_kind NAT #负载均衡转发规则
 persistence_timeout 50 #设置会话保持时间
 protocol TCP #指定转发协议类型，有 TCP 和 UDP 两种
 real_server 192.168.20.130 80 { #配置服务器节点 1，须要指定 real server 的真实 IP 地址和端口weight 1 #设置权重，数字越大权重越高
 TCP_CHECK { #realserver 的状态监测设置部分单位秒
 　　connect_timeout 3 #超时时间
 　　delay_before_retry 3 #重试间隔
 　　connect_port 80 #监测端口
 }
 }
}

　　backupvim

! Configuration File for keepalived
global_defs {
 router_id BACKUP_DEVEL #运行 keepalived 服务器的标识，在一个网络内应该是惟一的
}
vrrp_instance VI_1 { #vrrp 实例定义部分
 state BACKUP #设置 lvs 的状态，MASTER 和 BACKUP 两种，必须大写
 interface  ens33 #设置对外服务的接口，必须跟本地ip应用名称一致
 virtual_router_id 51 #设置虚拟路由标示，这个标示是一个数字，同一个 vrrp 实例使用惟一标示
 priority 100 #定义优先级，数字越大优先级越高，在一个 vrrp——instance 下，master 的优先级必须大于 backup
 advert_int 1 #设定 master 与 backup 负载均衡器之间同步检查的时间间隔，单位是秒
 authentication { #设置验证类型和密码
 auth_type PASS
 auth_pass 1111 #验证密码，同一个 vrrp_instance 下 MASTER 和 BACKUP 密码必须相同}
 virtual_ipaddress { #设置虚拟 ip 地址，能够设置多个，每行一个
 　　192.168.20.110
 }
}
virtual_server 192.168.20.110 80 { #设置虚拟服务器，须要指定虚拟 ip 和服务端口
 delay_loop 6 #健康检查时间间隔
 lb_algo rr #负载均衡调度算法
 lb_kind NAT #负载均衡转发规则
 persistence_timeout 50 #设置会话保持时间
 protocol TCP #指定转发协议类型，有 TCP 和 UDP 两种
 real_server 192.168.20.128 80 { #配置服务器节点 1，须要指定 real server 的真实 IP 地址和端口weight 1 #设置权重，数字越大权重越高
 TCP_CHECK { #realserver 的状态监测设置部分单位秒
 　　connect_timeout 3 #超时时间
 　　delay_before_retry 3 #重试间隔
 　　connect_port 80 #监测端口
 }
 }
}

keepalived 日志文件配置

\1. 首先看一下/etc/sysconfig/keepalived 文件

vi /etc/sysconfig/keepalived

KEEPALIVED_OPTIONS="-D -d -S 0"

“-D” 就是输出日志的选项

这里的“-S 0”表示 local0.* 具体的还须要看一下vim /etc/rsyslog.conf 文件

\2. 在/etc/rsyslog.conf 里添加:local0.* /var/log/keepalived.log

\3. 从新启动 keepalived 和 rsyslog 服务：

service rsyslog restart （/bin/systemctl restart rsyslog.service）

service keepalived restart

查看日志信息：cat /var/log/keepalived.log

示例：keepalived +nginx+tomcat

启动报错，查看日志

发现没有eth0网卡名称

关闭网络防火墙

使用命令：systemctl status firewalld.service后端

查看防火墙状态centos

执行后能够看到绿色字样标注的“active（running）”，说明防火墙是开启状态数组

使用命令：systemctl stop firewalld.service tomcat

关闭运行的防火墙

输入命令：systemctl disable firewalld.service，禁止防火墙服务器

ip a 来查看虚拟IP是否绑定到本机

安装nginx到本地试一下