使用Statefulset在Kubernetes集群中部署etcd集群
随着微服务架构的火爆，Etcd做为服务发现或者分部式存储的基础平台也愈来愈频繁的出如今咱们的视野里。所以对于快速部署一套高可用的Etcd集群的需求也愈来愈强烈，本次就带领你们一块儿使用Kubernetes的Statefulset特性快速部署一套Etcd集群。git
什么是Kubernetes？
Kubernetes 是一个用于容器集群的自动化部署、扩容以及运维的开源平台。github
使用Kubernetes，你能够快速高效地响应客户需求：数据库
- 快速而且无心外的部署你的应用。
- 动态地对应用进行扩容。
- 无缝地发布新特性。
- 仅使用须要的资源以优化硬件使用。
什么是Etcd？
Etcd的目的是提供一个分布式键值动态数据库,维护一个"Configuration Registry"。 这个Registry的基础之一是Kubernetes集群发现和集中的配置管理。 它在某些方面相似于Redis,经典的LDAP配置后端以及Windows注册表。后端
Etcd的目标是：api
- 简单：定义良好，面向用户的API（JSON and gRPC）
- 安全：自动TLS和可选的客户端证书身份验证
- 快速：benchmarked 写 10,000 次/秒
- 可靠：使用Raft协议做为分布式基础
官方已经有了Etcd-Operator,我为何还要使用这种方式部署？
首先来看优势：安全
- Etcd-Operator的部署方式对Etcd版本和Kubernetes版本都有要求,详见官方文档。
- 若是使用Etcd v2 Api则没法对数据进行备份，官方的Etcd集群数据备份仅仅支持Etcd v3版本
- Statefulset部署Etcd数据更加可靠。若是使用Etcd-Operator部署Etcd，不幸的是某天个人Kubernetes集群出现了问题，致使全部的Etcd Pod出现故障，那么很遗憾，若是没有对数据进行备份，我只能Pray God Bless，祈求本身不要背锅。即使使用Etcd V3 Api而且使用了数据备份，那么也可能丢失一部分数据，由于Etcd-Operator的备份是定时备份的。
- Statefulset的配置更加灵活，好比须要亲和性的配置，能够直接在Statefulset中增长便可。
固然，任何美好的事务都不是完美的。 使用Statefulset部署Etcd也须要必定的条件：网络
- 必须有可靠的网络存储做为支持。
- 建立集群比Etcd-Operator略微繁琐。
好，接下来，让咱们进入正题：session
如何在Kubernetes上快速部署一套Etcd集群。
首先，在Kubernetes上建立一个Headless的Service架构
apiVersion: v1
kind: Service
metadata:
labels:
k8s-app: infra-etcd-cluster
app: infra-etcd
name: infra-etcd-cluster
namespace: default
spec:
clusterIP: None
ports:
- name: infra-etcd-cluster-2379
port: 2379
protocol: TCP
targetPort: 2379
- name: infra-etcd-cluster-2380
port: 2380
protocol: TCP
targetPort: 2380
selector:
k8s-app: infra-etcd-cluster
app: infra-etcd
type: ClusterIP
建立Headless类型的Service是为了方便使用域名访问到Etcd的节点。2379和2380分别对应Etcd的Client Port和Peer Port。app
接下来，让咱们来建立Statefulset资源：
前提条件：你的集群必须提早建立好PV，以便Statefulset生成的Pod可使用到。若是你使用StorageClass来管理PV，则无需手动建立。这里已Ceph-RBD为例。
apiVersion: apps/v1
kind: StatefulSet
metadata:
labels:
k8s-app: infra-etcd-cluster
app: etcd
name: infra-etcd-cluster
namespace: default
spec:
replicas: 3
selector:
matchLabels:
k8s-app: infra-etcd-cluster
app: etcd
serviceName: infra-etcd-cluster
template:
metadata:
labels:
k8s-app: infra-etcd-cluster
app: etcd
name: infra-etcd-cluster
spec:
containers:
- command:
- /bin/sh
- -ec
- |
HOSTNAME=$(hostname)
echo "etcd api version is ${ETCDAPI_VERSION}"
eps() {
EPS=""
for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}.${CLUSTER_NAMESPACE}:2379"
done
echo ${EPS}
}
member_hash() {
etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2380 | cut -d':' -f1 | cut -d'[' -f1
}
initial_peers() {
PEERS=""
for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
PEERS="${PEERS}${PEERS:+,}${SET_NAME}-${i}=http://${SET_NAME}-${i}.${SET_NAME}.${CLUSTER_NAMESPACE}:2380"
done
echo ${PEERS}
}
# etcd-SET_ID
SET_ID=${HOSTNAME##*-}
# adding a new member to existing cluster (assuming all initial pods are available)
if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
export ETCDCTL_ENDPOINTS=$(eps)
# member already added?
MEMBER_HASH=$(member_hash)
if [ -n "${MEMBER_HASH}" ]; then
# the member hash exists but for some reason etcd failed
# as the datadir has not be created, we can remove the member
# and retrieve new hash
if [ "${ETCDAPI_VERSION}" -eq 3 ]; then
ETCDCTL_API=3 etcdctl --user=root:${ROOT_PASSWORD} member remove ${MEMBER_HASH}
else
etcdctl --username=root:${ROOT_PASSWORD} member remove ${MEMBER_HASH}
fi
fi
echo "Adding new member"
rm -rf /var/run/etcd/*
# ensure etcd dir exist
mkdir -p /var/run/etcd/
# sleep 60s wait endpoint become ready
echo "sleep 60s wait endpoint become ready,sleeping..."
sleep 60
if [ "${ETCDAPI_VERSION}" -eq 3 ]; then
ETCDCTL_API=3 etcdctl --user=root:${ROOT_PASSWORD} member add ${HOSTNAME} --peer-urls=http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2380 | grep "^ETCD_" > /var/run/etcd/new_member_envs
else
etcdctl --username=root:${ROOT_PASSWORD} member add ${HOSTNAME} http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2380 | grep "^ETCD_" > /var/run/etcd/new_member_envs
fi
if [ $? -ne 0 ]; then
echo "member add ${HOSTNAME} error."
rm -f /var/run/etcd/new_member_envs
exit 1
fi
cat /var/run/etcd/new_member_envs
source /var/run/etcd/new_member_envs
exec etcd --name ${HOSTNAME} \
--initial-advertise-peer-urls http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2380 \
--listen-peer-urls http://0.0.0.0:2380 \
--listen-client-urls http://0.0.0.0:2379 \
--advertise-client-urls http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2379 \
--data-dir /var/run/etcd/default.etcd \
--initial-cluster ${ETCD_INITIAL_CLUSTER} \
--initial-cluster-state ${ETCD_INITIAL_CLUSTER_STATE}
fi
for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
while true; do
echo "Waiting for ${SET_NAME}-${i}.${SET_NAME}.${CLUSTER_NAMESPACE} to come up"
ping -W 1 -c 1 ${SET_NAME}-${i}.${SET_NAME}.${CLUSTER_NAMESPACE} > /dev/null && break
sleep 1s
done
done
echo "join member ${HOSTNAME}"
# join member
exec etcd --name ${HOSTNAME} \
--initial-advertise-peer-urls http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2380 \
--listen-peer-urls http://0.0.0.0:2380 \
--listen-client-urls http://0.0.0.0:2379 \
--advertise-client-urls http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2379 \
--initial-cluster-token etcd-cluster-1 \
--data-dir /var/run/etcd/default.etcd \
--initial-cluster $(initial_peers) \
--initial-cluster-state new
env:
- name: INITIAL_CLUSTER_SIZE
value: "3"
- name: CLUSTER_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: ETCDAPI_VERSION
value: "3"
- name: ROOT_PASSWORD
value: '@123#'
- name: SET_NAME
value: "infra-etcd-cluster"
- name: GOMAXPROCS
value: "4"
image: gcr.io/etcd-development/etcd:v3.3.8
imagePullPolicy: Always
lifecycle:
preStop:
exec:
command:
- /bin/sh
- -ec
- |
HOSTNAME=$(hostname)
member_hash() {
etcdctl member list | grep http://${HOSTNAME}.${SET_NAME}.${CLUSTER_NAMESPACE}:2380 | cut -d':' -f1 | cut -d'[' -f1
}
eps() {
EPS=""
for i in $(seq 0 $((${INITIAL_CLUSTER_SIZE} - 1))); do
EPS="${EPS}${EPS:+,}http://${SET_NAME}-${i}.${SET_NAME}.${CLUSTER_NAMESPACE}:2379"
done
echo ${EPS}
}
export ETCDCTL_ENDPOINTS=$(eps)
SET_ID=${HOSTNAME##*-}
# Removing member from cluster
if [ "${SET_ID}" -ge ${INITIAL_CLUSTER_SIZE} ]; then
echo "Removing ${HOSTNAME} from etcd cluster"
if [ "${ETCDAPI_VERSION}" -eq 3 ]; then
ETCDCTL_API=3 etcdctl --user=root:${ROOT_PASSWORD} member remove $(member_hash)
else
etcdctl --username=root:${ROOT_PASSWORD} member remove $(member_hash)
fi
if [ $? -eq 0 ]; then
# Remove everything otherwise the cluster will no longer scale-up
rm -rf /var/run/etcd/*
fi
fi
name: infra-etcd-cluster
ports:
- containerPort: 2380
name: peer
protocol: TCP
- containerPort: 2379
name: client
protocol: TCP
resources:
limits:
cpu: "4"
memory: 4Gi
requests:
cpu: "4"
memory: 4Gi
volumeMounts:
- mountPath: /var/run/etcd
name: datadir
updateStrategy:
type: OnDelete
volumeClaimTemplates:
- metadata:
name: datadir
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
selector:
matchLabels:
k8s.cloud/storage-type: ceph-rbd
注意：SET_NAME必须与Statefulset的Name一致
这个时候你的Etcd已经能够在内部经过
http://${SET_NAME}-${i}.${SET_NAME}.${CLUSTER_NAMESPACE}:2379
访问了。
最后一步：建立Client Service
若是你的集群网络方案使Pod能够从Kubernetes集群外部访问，或者你的Etcd 集群只须要在Kubernetes集群内部访问，能够省略该步骤
apiVersion: v1
kind: Service
metadata:
labels:
k8s-app: infra-etcd-cluster-client
app: infra-etcd
name: infra-etcd-cluster-client
namespace: default
spec:
ports:
- name: infra-etcd-cluster-2379
port: 2379
protocol: TCP
targetPort: 2379
selector:
k8s-app: infra-etcd-cluster
app: infra-etcd
sessionAffinity: None
type: NodePort
大功告成！你可使用NodePort顺利访问到Etcd集群。
扩容与缩容
###扩容
只须要将Statefulset中的replicas改变便可。例如，我想把集群数量扩容为5个。
kubectl scale --replicas=5 statefulset infra-etcd-cluster
缩容
而后某一天我发现五个节点对我来讲有些浪费，想使用三个节点。OK，只须要执行如下命令便可，
kubectl scale --replicas=3 statefulset infra-etcd-cluster
全部的源码都可以在个人Github中找到，若是感受本文对你有用，请在Github上点下Star。若是发现任何问题能够提交PR，一块儿为开源作贡献。
相关文章
- 1. kubernetes容器集群部署Etcd集群
- 2. Kubernetes群集部署之ETCD
- 3. Kubernetes集群部署之三ETCD集群部署
- 4. Kubernetes 经过statefulset部署redis cluster集群
- 5. etcd集群部署
- 6. 部署ETCD集群
- 7. 部署etcd集群
- 8. 部署 etcd 集群
- 9. ETCD集群部署
- 10. 在Kubernetes集群上部署redis集群
- 更多相关文章...
- • Swarm 集群管理 - Docker教程
- • 在Spring中使用Redis - Redis教程
- • 使用阿里云OSS+CDN部署前端页面与加速静态资源
- • ☆技术问答集锦（13）Java Instrument原理
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章