kubeadm安装的集群,默认etcd是一个单机的容器化的etcd,而且k8s和etcd通讯没有通过ssl加密和认证,这点是须要改造的。
因此首先咱们须要先部署一个三节点的etcd集群,二进制部署,systemd守护进程,而且须要生成ca证书。linux
kuberntes 系统使用 etcd 存储全部数据,此外calico网络也使用该etcd集群,本文档介绍部署一个三节点高可用 etcd 集群的步骤,分别命名为etcd-host1
、etcd-host2
、etcd-host3
:git
本文档用到的变量定义以下:github
$ export NODE_NAME=etcd-host1 # 当前部署的机器名称(随便定义,只要能区分不一样机器便可) $ export NODE_IP=172.16.120.151 # 当前部署的机器 IP $ export NODE_IPS="172.16.120.151 172.16.120.152 172.16.120.153" # etcd 集群全部机器 IP $ # etcd 集群间通讯的IP和端口 $ export ETCD_NODES=etcd-host1=https://172.16.120.151:2380,etcd-host2=https://172.16.120.152:2380,etcd-host3=https://172.16.120.153:2380 $
本系列默认使用root用户操做。json
本文档使用 CloudFlare 的 PKI 工具集 cfssl 来生成 Certificate Authority (CA) 证书和秘钥文件,CA 是自签名的证书,用来签名后续建立的其它 TLS 证书。api
若是不但愿将cfssl工具安装到部署主机上,能够在其余的主机上进行该步骤,生成之后将证书拷贝到部署etcd的主机上便可。本教程就是采起这种方法,在一台测试机上执行下面操做。浏览器
$ wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 $ chmod +x cfssl_linux-amd64 $ mv cfssl_linux-amd64 /usr/local/bin/cfssl $ wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 $ chmod +x cfssljson_linux-amd64 $ mv cfssljson_linux-amd64 /usr/local/bin/cfssljson $ wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 $ chmod +x cfssl-certinfo_linux-amd64 $ mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo $
为了保证通讯安全,客户端(如 etcdctl) 与 etcd 集群、etcd 集群之间的通讯须要使用 TLS 加密,本节建立 etcd TLS 加密所需的证书和私钥。安全
建立 CA 配置文件:bash
$ cat > ca-config.json <<EOF { "signing": { "default": { "expiry": "8760h" }, "profiles": { "kubernetes": { "usages": [ "signing", "key encipherment", "server auth", "client auth" ], "expiry": "8760h" } } } } EOF
ca-config.json
:能够定义多个 profiles,分别指定不一样的过时时间、使用场景等参数;后续在签名证书时使用某个 profile;signing
:表示该证书可用于签名其它证书;生成的 ca.pem 证书中 CA=TRUE
;server auth
:表示 client 能够用该 CA 对 server 提供的证书进行验证;client auth
:表示 server 能够用该 CA 对 client 提供的证书进行验证;建立 CA 证书签名请求:网络
$ cat > ca-csr.json <<EOF { "CN": "kubernetes", "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "System" } ] } EOF
Common Name
,kube-apiserver 从证书中提取该字段做为请求的用户名 (User Name);浏览器使用该字段验证网站是否合法;Organization
,kube-apiserver 从证书中提取该字段做为请求用户所属的组 (Group);生成 CA 证书和私钥:工具
$ cfssl gencert -initca ca-csr.json | cfssljson -bare ca $ ls ca* ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem $
建立 etcd 证书签名请求:
$ cat > etcd-csr.json <<EOF { "CN": "etcd", "hosts": [ "127.0.0.1", "${NODE_IP}" ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "System" } ] } EOF
生成 etcd 证书和私钥:
$ cfssl gencert -ca=ca.pem \ -ca-key=ca-key.pem \ -config=ca-config.json \ -profile=kubernetes etcd-csr.json | cfssljson -bare etcd $ ls etcd* etcd.csr etcd-csr.json etcd-key.pem etcd.pem ca-config.json ca.csr ca-csr.json ca-key.pem ca.pem $ rm etcd.csr etcd-csr.json
将生成好的etcd.pem和etcd-key.pem以及ca.pem三个文件拷贝到目标主机的/etc/etcd/ssl目录下。
到 https://github.com/coreos/etcd/releases
页面下载最新版本的二进制文件:
$ wget https://github.com/coreos/etcd/releases/download/v3.2.11/etcd-v3.2.11-linux-amd64.tar.gz $ tar -xvf etcd-v3.2.11-linux-amd64.tar.gz $ mv etcd-v3.2.11-linux-amd64/etcd* /usr/local/bin $
$ mkdir -p /var/lib/etcd # 必须先建立工做目录 $ cat > etcd.service <<EOF [Unit] Description=Etcd Server After=network.target After=network-online.target Wants=network-online.target Documentation=https://github.com/coreos [Service] Type=notify WorkingDirectory=/var/lib/etcd/ ExecStart=/usr/local/bin/etcd \\ --name=${NODE_NAME} \\ --cert-file=/etc/etcd/ssl/etcd.pem \\ --key-file=/etc/etcd/ssl/etcd-key.pem \\ --peer-cert-file=/etc/etcd/ssl/etcd.pem \\ --peer-key-file=/etc/etcd/ssl/etcd-key.pem \\ --trusted-ca-file=/etc/etcd/ssl/ca.pem \\ --peer-trusted-ca-file=/etc/etcd/ssl/ca.pem \\ --initial-advertise-peer-urls=https://${NODE_IP}:2380 \\ --listen-peer-urls=https://${NODE_IP}:2380 \\ --listen-client-urls=https://${NODE_IP}:2379,http://127.0.0.1:2379 \\ --advertise-client-urls=https://${NODE_IP}:2379 \\ --initial-cluster-token=etcd-cluster-0 \\ --initial-cluster=${ETCD_NODES} \\ --initial-cluster-state=new \\ --data-dir=/var/lib/etcd Restart=on-failure RestartSec=5 LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF
etcd
的工做目录和数据目录为 /var/lib/etcd
,需在启动服务前建立这个目录;--initial-cluster-state
值为 new
时,--name
的参数值必须位于 --initial-cluster
列表中;$ mv etcd.service /etc/systemd/system/ $ systemctl daemon-reload $ systemctl enable etcd $ systemctl start etcd $ systemctl status etcd $
部署完 etcd 集群后,在任一 etcd 集群节点上执行以下命令:
$ etcdctl \ --endpoints=https://172.16.120.151:2379 \ --ca-file=/etc/etcd/ssl/ca.pem \ --cert-file=/etc/etcd/ssl/etcd.pem \ --key-file=/etc/etcd/ssl/etcd-key.pem \ cluster-health
预期结果:
member 71df888fdf6f0bb9 is healthy: got healthy result from https://172.16.120.153:2379 member 73b5207bc2491164 is healthy: got healthy result from https://172.16.120.151:2379 member 7a4ddb7c77253f4b is healthy: got healthy result from https://172.16.120.152:2379
三台 etcd 的输出均为 healthy 时表示集群服务正常(忽略 warning 信息)。