CentOS7中使用docker-compose部署Nacos集群

时间 2021-08-12

标签 html mysql nginx git github spring sql docker 数据库后端栏目 Tomcat 繁體版

原文原文链接

1. 前言
前面学习了 SpringCloudAlibaba之服务注册与发现Nacos 以及 SpringCloudAlibaba之配置中心Nacos，其中Nacos服务都部署在本地，那么如今把它部署到服务器上。html

在服务器上部署Nacos，有多种方式，mysql

单机：nginx

方式一：拷贝三份编译后的 Nacos Server，分别修改端口，以及编写 cluster.conf 文件
方式二：启动三个 Nacos Server 的 Docker 容器
方式三：使用 docker-compose 编排三个 Nacos Server 服务
三台及以上：git

方式一：每台都拷贝一份编译后的 Nacos Server，以及编写 cluster.conf 文件
方式二：每台都启动一个 Nacos Server 的 Docker 容器
方式三：每台都使用 docker-compose 编排一个 Nacos Server 服务
最方便的固然是使用 docker-compose 来编排服务，本篇博客也是使用的 docker-compose 方式（单机）。这里除了会编排三个 Nacos Server 服务，还会增长 MySQL 服务和 Nginx 服务，这也是官方推荐的部署架构：github

至少使用三个Nacos节点
使用MySQL做为数据源，方便观察数据存储的基本状况
使用Nginx做为统一入口，扩展节点的时候不影响后端应用spring

2. 源码
GitHub 地址：https://github.com/intomylife/Dockersql

Docker Hub 地址：https://hub.docker.com/r/intomylifedocker

3. 部署
整个部署所须要的文件都在 build 目录中数据库

build/
├── hostname
│ ├── config
│ │ ├── mysql
│ │ │ └── my.cnf
│ │ └── nginx
│ │ └── nginx.conf
│ ├── data
│ │ ├── mysql
│ │ ├── nacos
│ │ └── nginx
│ ├── docker-compose-all.yaml
│ ├── docker-compose-config.yaml
│ ├── docker-compose-discovery.yaml
│ ├── docker-compose.yaml
│ ├── env
│ │ ├── mysql
│ │ │ └── mysql.env
│ │ └── nacos
│ │ └── nacos.env
│ ├── .env
│ ├── init
│ │ └── mysql
│ │ └── init.sql
│ ├── log
│ │ ├── mysql
│ │ ├── nacos1
│ │ ├── nacos2
│ │ ├── nacos3
│ │ └── nginx
│ ├── start.sh
│ └── stop.sh
└── ip
├── config
│ ├── mysql
│ │ └── my.cnf
│ └── nginx
│ └── nginx.conf
├── data
│ ├── mysql
│ ├── nacos
│ └── nginx
├── docker-compose-all.yaml
├── docker-compose-config.yaml
├── docker-compose-discovery.yaml
├── docker-compose.yaml
├── env
│ ├── mysql
│ │ └── mysql.env
│ └── nacos
│ └── nacos.env
├── .env
├── init
│ └── mysql
│ └── init.sql
├── log
│ ├── mysql
│ ├── nacos1
│ ├── nacos2
│ ├── nacos3
│ └── nginx
├── start.sh
└── stop.sh

hostname和ip两个目录分别对应 PREFER_HOST_MODE 两种模式
两种模式对应的部署方式彻底同样，只有配置上有些许不一样；下面以hostname为例详细说明
3.1 config
服务的配置文件后端

3.1.1 mysql - my.cnf
[client]

default-character-set=utf8mb4

[mysqld]

character-set-client-handshake = FALSE

character-set-server = utf8mb4

collation-server = utf8mb4_unicode_ci

# 数据库惟一 ID，主从的标识号绝对不能重复。
server-id = 1

# 开启 bin-log，并指定文件目录和文件名前缀
log-bin=/var/log/mysql/binlog

# bin-log 日志文件格式，设置为 MIXED 能够防止主键重复。
binlog_format = mixed

[mysql]
default-character-set=utf8mb4

配置了字符集编码
开启了 bin-log
3.1.2 nginx - nginx.conf
... 省略部分 ...

upstream dispense {
server nacos1:8848;
server nacos2:8848;
server nacos3:8848;
}

server {
listen 9000;
server_name localhost;

#charset koi8-r;

#access_log logs/host.access.log main;

location / {
proxy_pass http://dispense;
index index.html index.htm;
}
... 省略部分 ...
}
... 省略部分 ...

修改监听端口为 9000
请求会被负载均衡到三个 Nacos Server 服务上

3.2 data
持久化服务产生的数据

3.3 env
服务中独立而又重复的配置

3.3.1 mysql - mysql.env
TZ=Asia/Shanghai
MYSQL_ROOT_HOST=%
1
2
配置了容器的时区
被容许链接的地址，%表示所有
3.3.2 nacos - nacos.env
TZ=Asia/Shanghai
JVM_XMS=512m
JVM_XMX=512m
JVM_XMN=256m
MODE=cluster
PREFER_HOST_MODE=hostname
NACOS_SERVERS=nacos1:8848 nacos2:8848 nacos3:8848
NACOS_AUTH_ENABLE=true
MYSQL_SERVICE_HOST=mysql
MYSQL_SERVICE_DB_NAME=nacos_config

配置了容器的时区
指定JVM各类内存大小
MODE 指定Nacos启动的模式，cluster 表示集群模式
PREFER_HOST_MODE 在我理解，代表Nacos会以什么方式来寻找本身的集群“伙伴”（peers），一共有两种方式：hostname / ip；① 若是指定为 ip，那么 NACOS_SERVERS 也必须指定的是一组 ip（全部Nacos的集群节点），注意这里比较坑的是，它默认会取Docker的 ip（docker0：172.17.0.1/16），这样会致使 ip 地址不固定，更者若是是多台服务器就压根不会在同一个网络中，因此还须要配置 NACOS_SERVER_IP 内网地址用来显示指定 ip；② 若是指定为 hostname，那么 NACOS_SERVERS 也必须指定的是一组 hostname（全部Nacos的集群节点），因此还须要配置docker-compose中service的 hostname 用来显示指定主机名
NACOS_AUTH_ENABLE 开启密码验证，即在后端应用中若是要链接 Nacos Server，就必需要配置有效的用户名和密码才容许链接
最后两个指定了链接 MySQL 的配置信息

3.4 .env
docker-compose 默认引入的文件，里面配置默认的环境变量

## version
MYSQL_VERSION=5.7
NACOS_VERSION=1.2.1
NGINX_VERSION=1.8
FIRST_VERSION=1.0.0
SECOND_VERSION=1.0.0
CONSUMER_VERSION=1.0.0
ORDER_VERSION=1.0.0
USER_VERSION=1.0.0

## pwd
MYSQL_SERVICE_USER=root
MYSQL_ROOT_PASSWORD=123456
NACOS_USER=nacos
NACOS_PASSWORD=nacos

## env
ORDER_ENV=dev
USER_ENV=dev

此文件的目的就是为了简化咱们的配置，避免修改多处重复的配置信息

3.5 init
服务的初始化数据

3.5.1 mysql - init.sql
-- 建立数据库
DROP database IF EXISTS `nacos_config`;
CREATE DATABASE `nacos_config` default character set utf8mb4 collate utf8mb4_unicode_ci;

-- 切换数据库
USE nacos_config;

/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info */
/******************************************/
CREATE TABLE `config_info` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(255) DEFAULT NULL,
`content` longtext NOT NULL COMMENT 'content',
`md5` varchar(32) DEFAULT NULL COMMENT 'md5',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '建立时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
`src_user` text COMMENT 'source user',
`src_ip` varchar(20) DEFAULT NULL COMMENT 'source ip',
`app_name` varchar(128) DEFAULT NULL,
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
`c_desc` varchar(256) DEFAULT NULL,
`c_use` varchar(64) DEFAULT NULL,
`effect` varchar(64) DEFAULT NULL,
`type` varchar(64) DEFAULT NULL,
`c_schema` text,
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfo_datagrouptenant` (`data_id`,`group_id`,`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info';

... 省略部分 ...

MySQL 的初始化 sql 语句
因为 Nacos Server 的数据源使用的是 MySQL，因此须要建这些基础表和插入一些基础数据

3.6 log
映射出服务的日志信息

3.7 .yaml
先来总体看一下，相似文件一共有四个：docker-compose.yaml，docker-compose-discovery.yaml，docker-compose-config.yaml，docker-compose-all.yaml

这些文件都有什么？
部署的核心是 Nacos Server 集群，相关内容所有在 docker-compose.yaml 文件中；而其余文件，都是用来部署后端应用的，它们主要测试 Nacos Server 集群是否真正部署成功；这些后端应用又包括Nacos的服务注册发现和配置中心，分别在 docker-compose-discovery.yaml 和 docker-compose-config.yaml 文件中；最后 docker-compose-all.yaml 文件包含 docker-compose-discovery.yaml + docker-compose-config.yaml 两个文件的内容

为何拆分开？
本来都写在一个 .yaml，然而在启动的时候发现，配置中心服务启动老是失败，由于 Nacos Server 还未彻底启动，配置中心服务获取不到对应的配置信息，就启动失败；那么拆开后，就可使用脚原本控制启动的顺序

3.7.1 docker-compose.yaml
这次部署的核心文件

version: '3'

services:

mysql:
container_name: mysql
image: mysql:${MYSQL_VERSION}
env_file:
- env/mysql/mysql.env
environment:
MYSQL_ROOT_PASSWORD: ${MYSQL_ROOT_PASSWORD}
ports:
- "3306:3306"
volumes:
- ./config/mysql/my.cnf:/etc/mysql/conf.d/my.cnf
- ./init/mysql/:/docker-entrypoint-initdb.d/
- ./data/mysql/:/var/lib/mysql/
- ./log/mysql/:/var/log/mysql/
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
restart: always

nacos1:
hostname: nacos1
container_name: nacos1
image: nacos/nacos-server:${NACOS_VERSION}
env_file:
- env/nacos/nacos.env
environment:
MYSQL_SERVICE_USER: ${MYSQL_SERVICE_USER}
MYSQL_SERVICE_PASSWORD: ${MYSQL_ROOT_PASSWORD}
ports:
- "8000:8848"
volumes:
- ./data/nacos/:/home/nacos/data/
- ./log/nacos1/:/home/nacos/logs/
depends_on:
- mysql
restart: always

nacos2:
hostname: nacos2
container_name: nacos2
image: nacos/nacos-server:${NACOS_VERSION}
env_file:
- env/nacos/nacos.env
environment:
MYSQL_SERVICE_USER: ${MYSQL_SERVICE_USER}
MYSQL_SERVICE_PASSWORD: ${MYSQL_ROOT_PASSWORD}
ports:
- "8001:8848"
volumes:
- ./data/nacos/:/home/nacos/data/
- ./log/nacos2/:/home/nacos/logs/
depends_on:
- mysql
restart: always

nacos3:
hostname: nacos3
container_name: nacos3
image: nacos/nacos-server:${NACOS_VERSION}
env_file:
- env/nacos/nacos.env
environment:
MYSQL_SERVICE_USER: ${MYSQL_SERVICE_USER}
MYSQL_SERVICE_PASSWORD: ${MYSQL_ROOT_PASSWORD}
ports:
- "8002:8848"
volumes:
- ./data/nacos/:/home/nacos/data/
- ./log/nacos3/:/home/nacos/logs/
depends_on:
- mysql
restart: always

nginx:
container_name: nginx
image: nginx:${NGINX_VERSION}
environment:
TZ: Asia/Shanghai
ports:
- "9000:9000"
volumes:
- ./config/nginx/nginx.conf:/etc/nginx/nginx.conf
- ./data/nginx/:/usr/share/nginx/html/
- ./log/nginx/:/var/log/nginx/
depends_on:
- nacos1
- nacos2
- nacos3
restart: always

三个Nacos节点，使用MySQL做为数据源，使用Nginx做为统一入口
${} 用来获取 .env 文件中的环境变量
env_file 指定环境变量文件，可同时引入多个环境变量，与 environment 中的环境变量结合使用；想知道哪些环境变量生效了，使用 docker-compose -f 文件名 config 命令来查看指定文件的具体内容
重点看下两种模式下，Nacos 的配置有哪些不一样，分别进入到 hostname 目录和 ip 目录中，使用 docker-compose -f docker-compose.yaml config 命令来查看具体内容，片断以下：

hostname：

... 省略部分 ...
nacos1:
container_name: nacos1
depends_on:
- mysql
environment:
JVM_XMN: 256m
JVM_XMS: 512m
JVM_XMX: 512m
MODE: cluster
MYSQL_SERVICE_DB_NAME: nacos_config
MYSQL_SERVICE_HOST: mysql
MYSQL_SERVICE_PASSWORD: '123456'
MYSQL_SERVICE_USER: root
NACOS_AUTH_ENABLE: "true"
NACOS_SERVERS: nacos1:8848 nacos2:8848 nacos3:8848
PREFER_HOST_MODE: hostname
TZ: Asia/Shanghai
hostname: nacos1
image: nacos/nacos-server:1.2.1
ports:
- 8000:8848/tcp
restart: always
volumes:
- /usr/local/build/hostname/data/nacos:/home/nacos/data:rw
- /usr/local/build/hostname/log/nacos1:/home/nacos/logs:rw
... 省略部分 ...

ip：

... 省略部分 ...
nacos1:
container_name: nacos1
depends_on:
- mysql
environment:
JVM_XMN: 256m
JVM_XMS: 512m
JVM_XMX: 512m
MODE: cluster
MYSQL_SERVICE_DB_NAME: nacos_config
MYSQL_SERVICE_HOST: mysql
MYSQL_SERVICE_PASSWORD: '123456'
MYSQL_SERVICE_USER: root
NACOS_APPLICATION_PORT: '8000'
NACOS_AUTH_ENABLE: "true"
NACOS_SERVERS: xxx.xxx.xxx.xxx:8000 xxx.xxx.xxx.xxx:8001 xxx.xxx.xxx.xxx:8002
NACOS_SERVER_IP: xxx.xxx.xxx.xxx
PREFER_HOST_MODE: ip
TZ: Asia/Shanghai
image: nacos/nacos-server:1.2.1
ports:
- 8000:8000/tcp
restart: always
volumes:
- /usr/local/build/ip/data/nacos:/home/nacos/data:rw
- /usr/local/build/ip/log/nacos1:/home/nacos/logs:rw
... 省略部分 ...

相同点：

指定JVM各类内存大小
指定MODE为集群模式
指定了MySQL链接信息
开启了密码验证
配置了容器的时区
映射了日志目录和数据目录
不一样点：

最大的不一样点，就是 PREFER_HOST_MODE 选择的模式：hostname / ip
hostname 模式：须要配置service服务的 hostname -> hostname: nacos1；在指定 NACOS_SERVERS 集群地址时，就是一组 hostname -> nacos1:8848 nacos2:8848 nacos3:8848
ip 模式：须要配置 NACOS_SERVER_IP -> NACOS_SERVER_IP: xxx.xxx.xxx.xxx；在指定 NACOS_SERVERS 集群地址时，就是一组 ip -> xxx.xxx.xxx.xxx:8000 xxx.xxx.xxx.xxx:8001 xxx.xxx.xxx.xxx:8002。这里须要注意的是，因为是在一台服务器中，那么端口是不能重复的，因此这时还要指定每个 Nacos Server 的端口，即配置 NACOS_APPLICATION_PORT
端口映射的不一样
注：ip 模式具体的地址和端口都在 build/ip/.env 文件中配置；若是这里修改了端口，那么同时也须要在 build/ip/config/nginx/nginx.conf 文件中修改负载中对应server的端口

3.7.2 docker-compose-all.yaml
用于测试 Nacos Server 集群的后端应用

docker-compose-all.yaml = docker-compose-discovery.yaml + docker-compose-config.yaml

version: '3'

services:

first:
container_name: first
image: intomylife/nacos-cluster-first:${FIRST_VERSION}
environment:
TZ: Asia/Shanghai
spring.cloud.nacos.discovery.server-addr: nginx:9000
spring.cloud.nacos.discovery.username: ${NACOS_USER}
spring.cloud.nacos.discovery.password: ${NACOS_PASSWORD}
ports:
- "8090:8090"
restart: always

second:
container_name: second
image: intomylife/nacos-cluster-second:${SECOND_VERSION}
environment:
TZ: Asia/Shanghai
spring.cloud.nacos.discovery.server-addr: nginx:9000
spring.cloud.nacos.discovery.username: ${NACOS_USER}
spring.cloud.nacos.discovery.password: ${NACOS_PASSWORD}
ports:
- "8091:8091"
restart: always

consumer:
container_name: consumer
image: intomylife/nacos-cluster-consumer:${CONSUMER_VERSION}
environment:
TZ: Asia/Shanghai
spring.cloud.nacos.discovery.server-addr: nginx:9000
spring.cloud.nacos.discovery.username: ${NACOS_USER}
spring.cloud.nacos.discovery.password: ${NACOS_PASSWORD}
ports:
- "8080:8080"
restart: always

order:
container_name: order
image: intomylife/nacos-cluster-order:${ORDER_VERSION}
environment:
TZ: Asia/Shanghai
spring.cloud.nacos.config.server-addr: nginx:9000
spring.cloud.nacos.config.username: ${NACOS_USER}
spring.cloud.nacos.config.password: ${NACOS_PASSWORD}
spring.cloud.nacos.config.group: ${ORDER_ENV}
spring.cloud.nacos.discovery.server-addr: nginx:9000
spring.cloud.nacos.discovery.username: ${NACOS_USER}
spring.cloud.nacos.discovery.password: ${NACOS_PASSWORD}
ports:
- "10000:10000"
restart: always

user:
container_name: user
image: intomylife/nacos-cluster-user:${USER_VERSION}
environment:
TZ: Asia/Shanghai
spring.cloud.nacos.config.server-addr: nginx:9000
spring.cloud.nacos.config.username: ${NACOS_USER}
spring.cloud.nacos.config.password: ${NACOS_PASSWORD}
spring.cloud.nacos.config.group: ${USER_ENV}
spring.cloud.nacos.discovery.server-addr: nginx:9000
spring.cloud.nacos.discovery.username: ${NACOS_USER}
spring.cloud.nacos.discovery.password: ${NACOS_PASSWORD}
ports:
- "11000:11000"
restart: always

first，second和consumer服务是一组，实现了服务的注册与发现功能
order和user服务是一组，实现了配置中心功能
源码在这里获取

3.8 .sh
启动脚本和中止脚本

3.8.1 start.sh
#!/bin/bash
## $() - 方法，${} - 变量

## 获取入参，启动类型
start_type=$1
## 输出看一眼
echo start_type: ${start_type}

## 参数校验
if [ "$start_type" == "discovery" ]||[ "$start_type" == "config" ]||[ "$start_type" == "all" ];
then
## 先启动基础服务
docker-compose -f docker-compose.yaml up -d

## 循环十次检查基础服务是否启动完成
for((i=1;i<=10;i++));
do
## 检查服务是否启动完成
code=$(curl -o /dev/null -s -w %{http_code} 127.0.0.1:9000/nacos)
if [ ${code} == '302' ];
then
echo 'check --- success --- ' ${code};
break;
else
echo 'check --- loading --- ' ${code};
fi
## 三秒中检查一次
sleep 3;
done

## 检查结束或检查终止，再次获取服务状态码
code=$(curl -o /dev/null -s -w %{http_code} 127.0.0.1:9000/nacos)
if [ ${code} == '302' ];
then
## 启动完成，接着启动后端应用服务
docker-compose -f docker-compose-$start_type.yaml up -d
echo 'success';
else
## 启动失败，可能出错了，中止基础服务
docker-compose -f docker-compose.yaml down
echo 'fail';
fi
else
## 参数有误
echo 'end';
fi

启动脚本
脚本还会获取一个入参，这个入参分别对应不一样组合的后端应用服务：discovery，config，all
考虑到服务较多，若是你只想单纯的部署 Nacos Server 集群，那么就不须要关注这个启动脚本，直接docker-compose up -d便可
这个脚本为了解决配置中心服务启动失败问题，其中就循环检查 Nginx 服务的状态码，只有基础服务（Nacos Server 集群）彻底启动成功，才会启动后端应用
3.8.2 stop.sh
#!/bin/bash
## $() - 方法，${} - 变量

## 中止服务
docker-compose -f docker-compose.yaml -f docker-compose-all.yaml down

中止脚本

3.9 启动
3.9.1 启动前的准备
获取源码
整个 build 目录上传到服务器上
以 hostname 模式为例，进入到 hostname 目录cd build/hostname
启动脚本赋予执行权限chmod +x start.sh
中止脚本赋予执行权限chmod +x stop.sh
日志目录赋予读写执权限chmod -R 777 log/
3.9.2 启动
若是只须要 Nacos Server 集群，那么在 hostname 目录下执行命令docker-compose up -d
若是须要 Nacos Server 集群 + 服务注册与发现，那么在 hostname 目录下执行命令./start.sh discovery
若是须要 Nacos Server 集群 + 配置中心，那么在 hostname 目录下执行命令./start.sh config
若是都须要，那么在 hostname 目录下执行命令./start.sh all
整个启动过程大概在一分钟左右
等待出现success表示启动成功，接下来进行访问（若是有防火墙，注意开放端口：3306，8000，8001，8002，9000，8090，8091，8080，10000，11000）
访问地址 ip:9000/nacos，进入到 Nacos Server 主页面
帐号密码：nacos, nacos
进入集群管理 - 节点列表页面，有以下数据，则表示集群搭建成功
节点Ip 节点状态集群任期 Leader止时(ms) 心跳止时(ms)
nacos1:8848 LEADER 1 13849 2500
nacos2:8848 FOLLOWER 1 14338 2500
nacos3:8848 FOLLOWER 1 12273 2500
测试服务注册与发现，屡次访问地址 ip:8080/feign，能够发现轮流输出Hello Spring Cloud Alibaba!!! port：8090和Hello Spring Cloud Alibaba!!! port：8091
测试配置中心，访问地址 ip:10000/info，能够看到输出内容dataInfo: order-config-dev.yml, group: dev, extName: mysql-dev
若是你还想在本地项目链接此 Nacos Server 集群，那么下载源码，修改配置文件中的server-addr为你的 ip:9000 便可
若是想测试 ip 模式，那么须要先在 build/ip/.env 文件中的 NACOS_SERVER_IP 处配置你本身的内网 ip；而后再进入到 ip 目录，执行上面相同的命令
3.9.3 中止
在 hostname 目录下执行命令./stop.sh

4. 参考
https://nacos.io/zh-cn/docs/quick-start-docker.html
https://nacos.io/zh-cn/docs/cluster-mode-quick-start.html
https://github.com/nacos-group/nacos-docker

但愿可以帮助到你