中小团队落地配置中心详解

时间  2019-11-21
标签 中小 团队 落地 配置 中心 详解 繁體版
原文   原文链接

不知道配置文件上次何时修改的、修改了什么内容？改了配置文件还要从新发布项目或者手动触发重启服务？平白无故发现配置文件错了影响到线上正常部署？你是否正在由于这些问题而困扰？50+线上项目，数百+配置文件，咱们常常被这些配置文件虐的生无可恋，是时候做出改变了！本文将带你解决这些问题，喝着咖啡轻松运维html

配置中心选型

选型的原则：简单，易落地，不挑平台，不挑语言，尽可能少的依赖。前端

对比了Disconf、Apollo等方案，最终选择了Etcd+Confd的方案，基本符合上边的原则，且Etcd咱们在部署Kubernetes的时候已经有过使用，算是轻车熟路。node

配置中心架构图

  • 配置中心总体采用C/S的模式，用Etcd做为服务端来存储数据，Confd做为客户端去Etcd取数据更新
  • 为了更方便的管理写了WebUI，其实是一个Etcd服务的WebUI，主要与Etcd服务交互，去Etcd存取数据
  • Confd根据配置文件去Etcd集群拉取数据，而后根据模板文件将数据按照设定的格式填充的固定的位置生成最终的配置文件
  • 配置文件生成后还能够配合check_cmd和reload_cmd命令对配置文件进行检查和从新加载

配置中心部署

Etcd集群

  • 系统环境linux

    • System：Debian 8
    • Etcd：v3.3.9

  • 服务器地址nginx

    • 192.168.107.101
    • 192.168.107.102
    • 192.168.107.103
全部服务器都须要执行如下命令来安装etcd和建立目录

1.下载etcd安装包并解压git

# wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz
# tar -zxvf etcd-v3.3.9-linux-amd64.tar.gz 
复制代码

2.拷贝程序到/usr/bin目录下方便执行，etcd为go编写，直接可运行，主要有两个文件etcd和ectdctl，github

# mv etcd-v3.3.9-linux-amd64/etcd* /usr/bin/
复制代码

3.建立etcd配置文件目录/etc/etcd和数据存放目录/home/data/etcdweb

# mkdir /etc/etcd /home/data/etcd
复制代码
三个node节点etcd配置文件分别以下

node1配置redis

# cat /etc/etcd/etcd.conf 
name: 'node1'
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.101:2380
listen-client-urls: http://192.168.107.101:2379,http://127.0.0.1:2379

initial-cluster-state: 'new'
initial-cluster-token: 'etcd-cluster-conf'
advertise-client-urls: http://192.168.107.101:2379
initial-advertise-peer-urls: http://192.168.107.101:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

复制代码

node2配置后端

# cat /etc/etcd/etcd.conf 
name: 'node2'
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.102:2380
listen-client-urls: http://192.168.107.102:2379,http://127.0.0.1:2379

initial-cluster-state: 'new'
initial-cluster-token: 'etcd-cluster-conf'
advertise-client-urls: http://192.168.107.102:2379
initial-advertise-peer-urls: http://192.168.107.102:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

复制代码

node3配置

# cat /etc/etcd/etcd.conf 
name: 'node3'
data-dir: /home/data/etcd

listen-peer-urls: http://192.168.107.103:2380
listen-client-urls: http://192.168.107.103:2379,http://127.0.0.1:2379

initial-cluster-state: 'new'
initial-cluster-token: 'etcd-cluster-conf'
advertise-client-urls: http://192.168.107.103:2379
initial-advertise-peer-urls: http://192.168.107.103:2380
initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380
复制代码
每一个节点配置完成后均启动

须要放在后台运行，推荐使用screen工具

# /usr/bin/etcd --config-file /etc/etcd/etcd.conf 
复制代码

三个节点所有启动完成后，可经过etcdctl member list命令查看集群列表，确认集群状态

# etcdctl member list
732ca490026f580d: name=node3 peerURLs=http://192.168.107.103:2380 clientURLs=http://192.168.107.103:2379 isLeader=false
bc16d35c3ad1c5ee: name=node2 peerURLs=http://192.168.107.102:2380 clientURLs=http://192.168.107.102:2379 isLeader=true
f7a043d3b65cd4a4: name=node1 peerURLs=http://192.168.107.101:2380 clientURLs=http://192.168.107.101:2379 isLeader=false
复制代码

Confd

1.下载confd并放到/usr/bin/目录下方便使用

# wget https://github.com/kelseyhightower/confd/releases/download/v0.16.0/confd-0.16.0-linux-amd64
# mv confd-0.16.0-linux-amd64 /usr/bin/confd
# chmod +x /usr/bin/confd
复制代码

2.新建confd配置文件目录

# mkdir /etc/confd/{conf.d,templates}
复制代码

3.新建资源文件，.toml文件结尾已经成了固定格式

# cat /etc/confd/conf.d/nginx.conf.toml 
[template]
src = "nginx.conf.tmpl"
dest = "/tmp/nginx.conf"

keys = [
   "/conf/project/env/nginx/nginx.conf",
]

check_cmd = "/usr/sbin/nginx -t -c {{.src}}"
reload_cmd = "/usr/sbin/service nginx reload"
复制代码

这里咱们新建了一个nginx配置的资源文件，参数解释：

  • src：指定模板文件的位置，也就是nginx配置文件模板tmpl的位置

  • dest：指定最终生成或更新的配置文件绝对路径，这里为了测试咱们给指定到/tmp/下

  • keys：模板文件里边要用到的key，也就是etcd里边对应的这个项目配置文件的key

  • check_cmd：在更新配置文件完成后执行的check命令，这里咱们就check下nginx配置文件是否有语法错误

  • reload_cmd：在check经过后能够执行这里配置的命令，上一步的check没有问题，就会执行reload命令从新加载配置文件

  • prefix：配置key的前缀，例如咱们的key都是以/conf开头的，那么能够增长个配置prefix="/conf"，在下边keys里就能够省略掉/conf了

  • owner：配置生成配置文件的用户

  • mode：配置生成配置文件的权限

4.新建模板文件

# cat /etc/confd/templates/nginx.conf.tmpl 
{{getv "/conf/project/env/nginx/nginx.conf"}}
复制代码
  • confd的模板语法有不少，这里不赘述，具体可查官网
  • 咱们是把整个配置文件的内容做为一个value存在etcd里边的，因此这里只须要一个getv指令获取到value的值填充到目标文件就能够了

联调测试

部署好了etcd集群和confd服务，接下来咱们就要测试下他们是否可以正常协同工做了

1.在Etcd服务器新建一个KV值

# etcdctl set /conf/project/env/nginx/nginx.conf 'user www-data;
> worker_processes 4;
> 
> pid        /var/run/nginx.pid;
> error_log  /home/logs/nginx/error.log  warn;
> 
> events  {
>     use epoll;
>     worker_connections 51200;
> }
> 
> http {
>     default_type  application/octet-stream;
> 
>     server {
>         listen       80;
>         server_name  domain.com;
> 
>         root /home/project/webroot;
>         index index.shtml index.html;
>     }
> }' 复制代码
# 查看设置key的内容
# etcdctl get /conf/project/env/nginx/nginx.conf
user  www-data;
worker_processes 4;

pid        /var/run/nginx.pid;
error_log  /home/logs/nginx/error.log  warn;

events  {
    use epoll;
    worker_connections 51200;
}

http {
    default_type  application/octet-stream;

    server {
        listen       80;
        server_name  domain.com;

        root /home/project/webroot;
        index index.shtml index.html;
    }
}
复制代码
  • Etcd API分v2和v3版本，两个版本差异较大，v3优化了不少，但考虑兼容性等问题咱们这里使用v2版本
  • 默认为v2版本，能够经过环境变量export ETCDCTL_API=3来切换到v3版本，v2经过etcdctl -v能够查看api版本，v3经过etcdctl version查看api版本

2.启动confd

# confd -watch -backend etcd -node=http://192.168.107.101:2379 -node=http://192.168.107.102:2379 -node=http://192.168.107.103:2379
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Backend set to etcd
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Starting confd
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Backend source(s) set to http://192.168.107.101:2379, http://192.168.107.102:2379, http://192.168.107.103:2379
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Target config /tmp/nginx.conf out of sync
2018-08-23T13:46:13+08:00 onlinegame.i.nease.net confd[17084]: INFO Target config /tmp/nginx.conf has been updated
复制代码

配置参数说明

  • -watch：开启watch模式，监听etcd配置中心文件变化，一旦有变这边当即更新，没有这个选项配置中心修改client不会更新

  • -backend：后端类型，目前支持etcd、zookeeper、consul、vault、redis、file、rancher等多种类型，confd也有一些针对不通后端类型的单独配置，具体能够经过confd --help命令查看

  • -node：etcd节点地址，有多个节点的话就这么写多个-node就行了，咱们etcd是三个节点的集群因此这里写三次'-node'

  • -onetime：可用来替换上边的-watch参数，表示运行一次就退出，若是你不想让配置文件实时更新，只是想更新一次，能够用这个参数

  • -interval：可用来替换上边的-watch参数，表示每隔多少秒去backend取一次数据，若是想下降etcd服务器压力，又想让客户端配置文件能自动更新，能够经过这个参数来控制

3.经过上边日志能够看到/tmp/nginx.conf文件已经正常同步且更新了，查看/tmp/nginx.conf肯定内容正确

WebUI Kerrigan

总不能全部的配置文件更新都经过命令行的方式吧？为了方便管理，花了三天（真的是三天）写了个WebUI，命名为Kerrigan，可以实现目录树，在线查看配置、修改配置、查看配置更新历史等实用功能

配置页面，经过这个页面能够配置etcd的链接信息

首页，左侧项目列表（项目信息同步CMDB）

点击项目列表后，根据对应规则去etcd里边取出目录结构按树状呈现出来

点击配置文件，右侧会展现当前配置文件内容

点击“编辑”按钮能够编辑这个配置，新建页面同样，只是编辑不容许修改路径

点击“历史”按钮，则跳转到配置文件的历史页面，这个页面展现了这个配置文件全部的修改历史

写在最后

  1. 是否是要说这个界面丑爆了！没办法，前端后端测试加上线都我一人干，没有设计细胞，就这么看吧，而且最重要的不是功能好用么
  2. 为何不用K8S的configmap？咱们最初是想用K8S的configmap来作配置中心的，可是并不是全部的项目都跑在K8S里，且修改configmap也须要重启容器才能生效，因此就没有采用了
  3. etcd谁均可以修改么，感受不安全啊？实际上咱们是用了帐号密码认证的，且只在内网，限制IP，安全一点吧，另外一种解决方案是etcd走ssl，但client端要放证书比较麻烦没有采用
  4. 怎么确认Client端配置文件更新成功了？若是你是一次性启动能够在启动命令以后判断启动命令是否正常执行，若是你是watch模式或者interval，那么。。只能人肉check了吧，我也没有好方法

扫码关注公众号查看更多原创文章

若是你以为文章对你有帮助，请转发分享让更多好友看到。若是你以为读的不尽兴，推荐阅读如下文章：

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程