CentOS 7 部署百万pv项目（高可用架构）

时间 2020-02-26

原文原文链接

PV简介

PV（Page View，页面浏览量）即点击量，一般意义上说PV的多少是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。pv的解释是这样的：一个访问者在24小时（0点-23点）内到底看了网站的几个页面。须要注意的是：同一我的浏览网站的同一个页面，不重复计算pv量，点击100次页只算1次。前端

百万pv网站架构

本次实验设计采用四层模式实现，主要分为前端反向代理层、web层、数据库缓存层和数据库层。前端反向代理层采用主备模式，web层采用集群模式，数据库缓存层采用主备模式，数据库层采用主从模式。java

部署环境

主机名	ip地址	角色
master	192.168.0.106	nginx+keepalived主、redis主、mysql数据主库
backup	192.168.0.115	nginx+keepalived备、redis备、mysql数据从库
web1	192.168.0.104	后端tomcat服务
web2	192.168.0.105	后端tomcat服务
VIP	192.168.0.188	虚拟IP地址

全部软件包点击下载node

安装服务

在主、从服务器(master, backup)都安装

1、安装keepalived+nginx

1.关闭防火墙、加强性

systemctl stop firewalld.service
setenforce 0mysql

2.安装带有nginx rpm软件包的源

rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpmlinux

3.安装keepalived+nginx

yum install -y keepalived nginxnginx

2、安装mysql

1.检查系统中是否已安装 MySQL

rpm -qa | grep mysqlweb

2.查看已安装的 Mariadb 数据库版本

rpm -qa|grep -i mariadbredis

3.卸载已安装的 Mariadb 数据库。

rpm -qa|grep mariadb|xargs rpm -e --nodepssql

4.下载安装包文件。

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmshell

5.安装mysql-community-release-el7-5.noarch.rpm包

rpm -ivh mysql-community-release-el7-5.noarch.rpm

6.安装mysql。

yum install mysql-server -y

3、安装redis

yum install -y epel-release #更新epel源
yum install redis -y #安装redis

在节点服务器(web1,web2)都安装

4、安装tomcat

1.安装java环境

systemctl stop firewalld.service #关闭防火墙
setenforce 0
tar xf jdk-8u101-linux-x64.tar.gz -C /usr/local
cd /usr/local/
mv jdk1.8.0_101 java

2.设置环境变量

sed -i '$aJAVA_HOME=/usr/local/java\nCLASSPATH=$JAVA_HOME/lib\nPATH=$PATH:$JAVA_HOME/bin\nexport PATH JAVA_HOME CLASSPATH' /etc/profile
source /etc/profile
java -version

3.安装tomcat

tar xvf apache-tomcat-8.5.43.tar.gz -C /usr/local #解压
cd /usr/local
mv apache-tomcat-8.5.43 tomcat #重命名
chmod +x tomcat/bin/* #给脚本受权
ln -s /usr/local/tomcat/bin/startup.sh /usr/bin/tomcatup #创建软链接
ln -s /usr/local/tomcat/bin/shutdown.sh /usr/bin/tomcatdown

更改配置和验证

1、keepalived+nginx改配置

1.更改keepalived配置

vim /etc/keepalived/keepalived.conf #修改三个参数

! Configuration File for keepalived

global_defs {
    route_id NGINX_HA   #备机要改 NGINX_HB
}

vrrp_script nginx {   #nginx监控脚本，后面会建立
    script "/opt/shell/nginx.sh"   
    interval 2
}

vrrp_instance VI_1 {
    state MASTER    #备机改成BACKUP
    interface ens33
    virtual_router_id 53   #2台必须同样
    priority 100   #优先级，备机要比这个小，如90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
}

track_script {
    nginx
}

virtual_ipaddress {
    192.168.0.188   #虚拟ip地址
    }
}

2.更改nginx配置

vim /etc/nginx/nginx.conf

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;
upstream tomcatpool {
                                server 192.168.0.105:8080;  #节点服务器1的ip地址，端口号
                                server 192.168.0.104:8080; #节点服务器2的ip地址，端口号
                                ip_hash;   #会话稳固功能，不然没法经过vip地址登录
                }
                server {
                                listen 80;
                                server_name 192.168.0.188;  #虚拟ip地址
                                location / {
                                                proxy_pass http://tomcatpool;
                                                proxy_set_header X-Real-IP $remote_addr;
                                }
    }
    include /etc/nginx/conf.d/*.conf;
}

3.建立nginx启动脚本

mkdir /opt/shell
vim /opt/shell/nginx.sh

#!/bin/bash
k=`ps -ef | grep keepalived | grep -v grep | wc -l`
if [ $k -gt 0 ];then
            /bin/systemctl start nginx.service
else
        /bin/systemctl stop nginx.service
 fi

chmod +x /opt/shell/nginx.sh #脚本受权
备注：2.台nginx服务配置，nginx脚本都同样！

验证keepalived+nginx功能

1.查看主备各自的ip消息

2.中止主机keeepalived

排坑过程

坑一：

配置都没有报错，vip也实现漂移了，但网页打开就是报错，查看nginx日志，也看到不到啥问题

解决办法：仔细看图信息，给出了提示，某个命名错误

修改Nginx配置文件，把tomcat_pool改成tomcatpool，记得2台都要去修改，重启nginx服务

错误缘由分析：这是因为新版本的Nginx在命名时不支持 _ 这种符号了，尽可能避免使用

坑二：

配置完成后，2台都没有出现VIP(虚拟ip)

解决办法：仔细查看全部配置文件，肯定都没有问题后，应该就是防火墙问题了，2台服务器的防火墙必须都要关闭或作防火墙策略，不然不会出现VIP

坑三：配置完成后，2台都出现VIP(虚拟ip)

缘由分析：

1.keepalived配置文件不对，2台state必须一主一备，不能都为master
2.2台virtual_router_id必须相同
3.以上2点须要都知足才行

解决办法：对照缘由，修改配置文件

坑四：

配置没有报错，也看到vip漂移了，在后面使用web服务链接数据库，使用vip地址链接，不能登陆网站，只能看到网页。可是，使用数据库真实ip地址就能够登陆网页。

缘由分析：仍是keepliaved配置文件出问题了

解决办法：对照上面的配置文件，仔细对比修改，才能解决问题。必定是配置文件里细节部分出现问题了！

数据库主从同步

1.在主数据库上改配置

vim /etc/my.cnf
在[mysqld]下加入

binlog-ignore-db=mysql,information_schema
character_set_server=utf8
log_bin=mysql_bin
server_id=1
log_slave_updates=true
sync_binlog=1

2.数据库受权

systemctl start mysqld #启动服务
mysql < slsaledb-2014-4-10.sql #导入商城数据
mysql
show databases; #查看数据是否导入
GRANT all ON slsaledb.* TO 'root'@'%' IDENTIFIED BY '123456'; #slsaledb数据库受权
grant replication slave on *.* to 'rep'@'192.168.0.%' identified by '123456'; #从库受权
flush privileges;
show master status;

3.在从数据库上改配置

vim /etc/my.cnf
在[mysqld]下加入

server_id=2
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index

4.从数据库同步设置

systemctl start mysqld #启动服务
mysql < slsaledb-2014-4-10.sql #导入商城数据
mysql
show databases; #查看数据是否导入
GRANT all ON slsaledb.* TO 'root'@'%' IDENTIFIED BY '123456'; #slsaledb数据库受权
mysql
change master to master_host='192.168.0.106',master_user='rep',master_password='123456',master_log_file='mysql_bin.000001',master_log_pos=406;
start slave;
show slave status \G

商城项目部署

1.解压项目软件包

tar xf SLSaleSystem.tar.gz -C /usr/local/tomcat/webapps/

2.修改tomcat配置

vim /usr/local/tomcat/conf/server.xml
在Host name下新增在149行

#做用是让用户访问时不使用项目名能够直接访问
<Context path="" docBase="SLSaleSystem" reloadable="true" debug="0"></Context>

3.修改数据连接

cd /usr/local/tomcat/webapps/SLSaleSystem/WEB-INF/classes
vim jdbc.properties

driverClassName=com.mysql.jdbc.Driver
#填写虚拟ip地址
url=jdbc\:mysql\://192.168.0.188\:3306/slsaledb?useUnicode\=true&characterEncoding\=UTF-8
#填写受权时的用户名密码
uname=root
password=123456
minIdle=10
maxIdle=50
initialSize=5
maxActive=100
maxWait=100
removeAbandonedTimeout=180
removeAbandoned=true

4.启动tomcat服务

tomcatup
netstat -ntap |grep 8080

备注：2台节点服务器操做同样

5.网站验证

1.先访问2台节点服务器网址
http://192.168.0.104:8080
http://192.168.0.105:8080

2.在访问虚拟IP地址
http://192.168.0.188

Redis主从和群集配置

在主机上：

vim /etc/redis.conf
在61行修改成

bind 0.0.0.0

systemctl start redis.service #启动服务
netstat -anpt | grep 6379
redis-cli -h 192.168.0.106 -p 6379 #测试链接
192.168.0.106:6379> set name test
OK
192.168.0.106:6379> get name
"test"
192.168.0.106:6379> exit

在备机上：

vi /etc/redis.conf

bind 0.0.0.0  #61行
 slaveof 192.168.0.106  6379  #266行，主服务器的IP

systemctl start redis.service #启动服务
redis-cli -h 192.168.0.115 -p 6379 #查看
192.168.0.115:6379> get name
"test" #同步成功
192.168.0.115:6379> exit

redis在节点服务器上配置

配置商城项目中链接redis的参数
vi /usr/local/tomcat/webapps/SLSaleSystem/WEB-INF/classes/applicationContext-mybatis.xml

#填写虚拟IP地址,47行
<constructor-arg value="192.168.0.188"/>
 <constructor-arg value="6379"/>

tomcatdown
tomcatup

redis 缓存测试

redis-cli -h 192.168.0.188 -p 6379
192.168.0.188:6379> info

配置redis集群及主从切换

只在主服务器是操做
redis-cli -h 192.168.0.106 info Replication #获取当前服务器的角色

vim /etc/redis-sentinel.conf

protected-mode no  #17 行
sentinel monitor mymaster 192.168.200.128 6379 1 #69行，1表示1台备机
sentinel down-after-milliseconds mymaster 3000 #98行，故障切换时间单位是毫秒

service redis-sentinel start #启动集群
netstat -anpt | grep 26379

redis-cli -h 192.168.0.106 -p 26379 info Sentinel #查看集群信息

验证主从切换

在主服务器上（master）
systemctl stop redis.service
redis-cli -h 192.168.0.106 -p 26379 info Sentinel #查看集群信息

检验高可用架构

关掉全部主服务器(master)和一台tomcat服务（we1）
查看网页: http://192.168.0.188