一文入门ETCD

时间  2021-08-12
标签 html 前端 node linux git github 算法 shell 数据库 json 栏目 HTML 繁體版
原文   原文链接

一 概述

背景：近期k8s应用中etcd的功能存在一些困惑，对其进行来单独的学习，能更深刻理解k8s中的的一些特性。html

1.1 etcd简介

etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议做为一致性算法，etcd基于Go语言实现。前端

1.2 发展历史

图片描述

1.3 etcd的特色

  • 简单：安装配置简单，并且提供了HTTP API进行交互，使用也很简单
  • 安全：支持SSL证书验证
  • 快速：根据官方提供的benchmark数据，单实例支持每秒2k+读操做
  • 可靠：采用raft算法，实现分布式系统数据的可用性和一致性

1.4 概念术语

  • Raft：etcd所采用的保证分布式系统强一致性的算法。node

  • Node：一个Raft状态机实例。linux

  • Member： 一个etcd实例。它管理着一个Node，而且能够为客户端请求提供服务。git

  • Cluster：由多个Member构成能够协同工做的etcd集群。github

  • Peer：对同一个etcd集群中另一个Member的称呼。算法

  • Client： 向etcd集群发送HTTP请求的客户端。shell

  • WAL：预写式日志，etcd用于持久化存储的日志格式。数据库

  • snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。json

  • Proxy：etcd的一种模式，为etcd集群提供反向代理服务。

  • Leader：Raft算法中经过竞选而产生的处理全部数据提交的节点。

  • Follower：竞选失败的节点做为Raft中的从属节点，为算法提供强一致性保证。

  • Candidate：当Follower超过必定时间接收不到Leader的心跳时转变为Candidate开始竞选。

  • Term：某个节点成为Leader到下一次竞选时间，称为一个Term。

  • Index：数据项编号。Raft中经过Term和Index来定位数据。

1.5 数据读写顺序

为了保证数据的强一致性，etcd集群中全部的数据流向都是一个方向，从 Leader （主节点）流向 Follower，也就是全部 Follower 的数据必须与 Leader 保持一致，若是不一致会被覆盖。

用户对于etcd集群全部节点进行读写

  • 读取：因为集群全部节点数据是强一致性的，读取能够从集群中随便哪一个节点进行读取数据
  • 写入：etcd集群有leader，若是写入往leader写入，能够直接写入，而后而后Leader节点会把写入分发给全部Follower，若是往follower写入，而后Leader节点会把写入分发给全部Follower

1.6 leader选举

假设三个节点的集群，三个节点上均运行Timer（每一个Timer持续时间是随机的），Raft算法使用随机Timer来初始化Leader选举流程，第一个节点率先完成了Timer，随后它就会向其余两个节点发送成为Leader的请求，其余节点接收到请求后会以投票回应而后第一个节点被选举为Leader。

成为Leader后，该节点会以固定时间间隔向其余节点发送通知，确保本身还是Leader。有些状况下当Follower们收不到Leader的通知后，好比说Leader节点宕机或者失去了链接，其余节点会重复以前选举过程选举出新的Leader。

1.7 判断数据是否写入

etcd认为写入请求被Leader节点处理并分发给了多数节点后，就是一个成功的写入。那么多少节点如何断定呢，假设总结点数是N，那么多数节点 Quorum=N/2+1。关于如何肯定etcd集群应该有多少个节点的问题，上图的左侧的图表给出了集群中节点总数(Instances)对应的Quorum数量，用Instances减去Quorom就是集群中容错节点（容许出故障的节点）的数量。

因此在集群中推荐的最少节点数量是3个，由于1和2个节点的容错节点数都是0，一旦有一个节点宕掉整个集群就不能正常工做了。

二 etcd架构及解析

2.1 架构图

图片描述

2.2 架构解析

从 etcd 的架构图中咱们能够看到，etcd 主要分为四个部分。

  • HTTP Server：用于处理用户发送的 API 请求以及其它 etcd 节点的同步与心跳信息请求。
  • Store：用于处理 etcd 支持的各种功能的事务，包括数据索引、节点状态变动、监控与反馈、事件处理与执行等等，是 etcd 对用户提供的大多数 API 功能的具体实现。
  • Raft：Raft 强一致性算法的具体实现，是 etcd 的核心。
  • WAL：Write Ahead Log（预写式日志），是 etcd 的数据存储方式。除了在内存中存有全部数据的状态以及节点的索引之外，etcd 就经过 WAL 进行持久化存储。WAL 中，全部的数据提交前都会事先记录日志。
    • Snapshot 是为了防止数据过多而进行的状态快照；
    • Entry 表示存储的具体日志内容。

一般，一个用户的请求发送过来，会经由 HTTP Server 转发给 Store 进行具体的事务处理，若是涉及到节点的修改，则交给 Raft 模块进行状态的变动、日志的记录，而后再同步给别的 etcd 节点以确认数据提交，最后进行数据的提交，再次同步。

三 应用场景

3.1 服务注册与发现

etcd能够用于服务的注册与发现

  • 先后端业务注册发现

img

中间价已经后端服务在etcd中注册，前端和中间价能够很轻松的从etcd中发现相关服务器而后服务器之间根据调用关系相关绑定调用

  • 多组后端服务器注册发现

image-20191128115854263

后端多个无状态相同副本的app能够同事注册到etcd中，前端能够经过haproxy从etcd中获取到后端的ip和端口组，而后进行请求转发，能够用来故障转移屏蔽后端端口已经后端多组app实例。

3.2 消息发布与订阅

image-20191128120310649

etcd能够充当消息中间件，生产者能够往etcd中注册topic并发送消息，消费者从etcd中订阅topic，来获取生产者发送至etcd中的消息。

3.3 负载均衡

image-20191128120453559

后端多组相同的服务提供者能够经本身服务注册到etcd中，etcd而且会与注册的服务进行监控检查，服务请求这首先从etcd中获取到可用的服务提供者真正的ip:port，而后对此多组服务发送请求，etcd在其中充当了负载均衡的功能

3.4 分部署通知与协调

image-20191128174054754

  • 当etcd watch服务发现丢失，会通知服务检查
  • 控制器向etcd发送启动服务，etcd通知服务进行相应操做
  • 当服务完成work会讲状态更新至etcd，etcd对应会通知用户

3.5 分布式锁

image-20191128183307205

当有多个竞争者node节点，etcd做为总控，在分布式集群中与一个节点成功分配lock

3.6 分布式队列

image-20191203135537016

有对个node，etcd根据每一个node来建立对应node的队列，根据不一样的队列能够在etcd中找到对应的competitor

3.7 集群与监控与Leader选举

image-20191203135838727

etcd能够根据raft算法在多个node节点来选举出leader

四 安装部署

4.1 单机部署

可使用二进制或源码下载安装，可是危害须要本身写配置文件，如何要启动须要本身写服务启动文件，推荐使用yum安装方式

hostnamectl set-hostname etcd-1
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm
# yum 仓库中的etcd版本为3.3.11，若是须要最新版本的etcd能够进行二进制安装
yum -y install etcd
systemctl enable etcd
复制代码

能够查看yum安装的etcd的有效配置文件，根据本身的需求来修改数据存储目录，已经监听端口url/etcd的名称等

  • etcd 默认将数据存放到当前路径的 default.etcd/ 目录下
  • 在 http://localhost:2380 和集群中其余节点通讯
  • 在 http://localhost:2379 提供 HTTP API 服务，供客户端交互
  • 该节点的名称默认为 default
    • heartbeat 为 100ms，后面会说明这个配置的做用
  • election 为 1000ms，后面会说明这个配置的做用
  • snapshot count 为 10000，后面会说明这个配置的做用
  • 集群和每一个节点都会生成一个 uuid
  • 启动的时候，会运行 raft，选举出 leader
[root@VM_0_8_centos tmp]# grep -Ev "^#|^$" /etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://localhost:2379"
ETCD_NAME="default"
ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379"
[root@VM_0_8_centos tmp]# systemctl status etcd
复制代码

4.2 集群部署

集群部署最好部署奇数位，此能达到最好的集群容错

4.2.1 主机信息

image-20191203144634596

主机名称 系统 IP地址 部署组件
etcd-0-8 CentOS 7.3 172.16.0.8 etcd
etcd-0-17 CentOS 7.3 172.16.0.17 etcd
etcd-0-14 CentOS 7.3 172.16.0.14 etcd

4.2.2 host配置

在此示例用三个节点来部署etcd集群，各节点修改hosts

cat >> /etc/hosts << EOF
172.16.0.8 etcd-0-8
172.16.0.14 etcd-0-14
172.16.0.17 etcd-0-17
EOF
复制代码

4.2.3 etcd安装

三个节点均安装etcd

wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm
yum -y install etcd
systemctl enable etcd
mkdir -p /data/app/etcd/
chown etcd:etcd /data/app/etcd/
复制代码

4.2.4 etcd配置

  • etcd默认配置文件
[root@etcd-0-8 app]# cat /etc/etcd/etcd.conf
#[Member]
#ETCD_CORS=""
ETCD_DATA_DIR="/data/app/etcd/"																						# etcd数据存储目录，建议存储在数据盘
#ETCD_WAL_DIR=""
ETCD_LISTEN_PEER_URLS="http://172.16.0.8:2380"														# 与同伴的通信地址，和其余节点同伴的通信地址	
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.8:2379"		# 对外提供服务的地址
#ETCD_MAX_SNAPSHOTS="5" # etcd最大快照保存数
#ETCD_MAX_WALS="5" # etcd 最大wals
ETCD_NAME="etcd-0-8"																											# etcd节点名称，集群内须要惟一
#ETCD_SNAPSHOT_COUNT="100000" # 指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘
#ETCD_HEARTBEAT_INTERVAL="100" # leader 多久发送一次心跳到 followers。默认值是 100ms
#ETCD_ELECTION_TIMEOUT="1000" # 从新投票的超时时间，若是 follow 在该时间间隔没有收到心跳包，会触发从新投票，默认为 1000 ms
#ETCD_QUOTA_BACKEND_BYTES="0"
#ETCD_MAX_REQUEST_BYTES="1572864"
#ETCD_GRPC_KEEPALIVE_MIN_TIME="5s"
#ETCD_GRPC_KEEPALIVE_INTERVAL="2h0m0s"
#ETCD_GRPC_KEEPALIVE_TIMEOUT="20s"
#
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.16.0.8:2380"									   # 该节点同伴监听地址，这个值会告诉集群中其余节点
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.8:2379"    # 对外公告的该节点客户端监听地址，这个值会告诉集群中其余节点
#ETCD_DISCOVERY=""
#ETCD_DISCOVERY_FALLBACK="proxy"
#ETCD_DISCOVERY_PROXY=""
#ETCD_DISCOVERY_SRV=""
ETCD_INITIAL_CLUSTER="etcd-0-8=http://172.16.0.8:2380,etcd-0-17=http://172.16.0.17:2380,etcd-0-14=http://172.16.0.14:2380"													# 集群中全部节点的信	
ETCD_INITIAL_CLUSTER_TOKEN="etcd-token"							 # 建立集群的 token，这个值每一个集群保持惟一。这样的话，若是你要从新建立集群，即便配置和以前同样，也会再次生成新的集群和节点 uuid；不然会致使多个集群之间的冲突，形成未知的错误
ETCD_INITIAL_CLUSTER_STATE="new"
#ETCD_STRICT_RECONFIG_CHECK="true" # 新建集群的时候，这个值为 new；假如已经存在的集群，这个值为 existing
#ETCD_ENABLE_V2="true"
#
#[Proxy]
#ETCD_PROXY="off"
#ETCD_PROXY_FAILURE_WAIT="5000"
#ETCD_PROXY_REFRESH_INTERVAL="30000"
#ETCD_PROXY_DIAL_TIMEOUT="1000"
#ETCD_PROXY_WRITE_TIMEOUT="5000"
#ETCD_PROXY_READ_TIMEOUT="0"
#
#[Security]
#ETCD_CERT_FILE=""
#ETCD_KEY_FILE=""
#ETCD_CLIENT_CERT_AUTH="false"
#ETCD_TRUSTED_CA_FILE=""
#ETCD_AUTO_TLS="false"
#ETCD_PEER_CERT_FILE=""
#ETCD_PEER_KEY_FILE=""
#ETCD_PEER_CLIENT_CERT_AUTH="false"
#ETCD_PEER_TRUSTED_CA_FILE=""
#ETCD_PEER_AUTO_TLS="false"
#
#[Logging]
#ETCD_DEBUG="false"
#ETCD_LOG_PACKAGE_LEVELS=""
#ETCD_LOG_OUTPUT="default"
#
#[Unsafe]
#ETCD_FORCE_NEW_CLUSTER="false"
#
#[Version]
#ETCD_VERSION="false"
#ETCD_AUTO_COMPACTION_RETENTION="0"
#
#[Profiling]
#ETCD_ENABLE_PPROF="false"
#ETCD_METRICS="basic"
#
#[Auth]
#ETCD_AUTH_TOKEN="simple"
复制代码

etcd-0-8配置：

[root@etcd-server ~]# hostnamectl set-hostname etcd-0-8
[root@etcd-0-8 ~]# egrep "^#|^$" /etc/etcd/etcd.conf -v
ETCD_DATA_DIR="/data/app/etcd/"
ETCD_LISTEN_PEER_URLS="http://172.16.0.8:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.8:2379"
ETCD_NAME="etcd-0-8"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.16.0.8:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.8:2379"
ETCD_INITIAL_CLUSTER="etcd-0-8=http://172.16.0.8:2380,etcd-0-17=http://172.16.0.17:2380,etcd-0-14=http://172.16.0.14:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-token"
ETCD_INITIAL_CLUSTER_STATE="new"
复制代码

etcd-0-14配置：

[root@etcd-server ~]# hostnamectl set-hostname etcd-0-14
[root@etcd-server ~]# mkdir -p /data/app/etcd/
[root@etcd-0.14 ~]# egrep "^#|^$" /etc/etcd/etcd.conf -v
ETCD_DATA_DIR="/data/app/etcd/"
ETCD_LISTEN_PEER_URLS="http://172.16.0.14:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.14:2379"
ETCD_NAME="etcd-0-14"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.16.0.14:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.14:2379"
ETCD_INITIAL_CLUSTER="etcd-0-8=http://172.16.0.8:2380,etcd-0-17=http://172.16.0.17:2380,etcd-0-14=http://172.16.0.14:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-token"
ETCD_INITIAL_CLUSTER_STATE="new"
复制代码
  • etcd-0-7配置:
[root@etcd-server ~]# hostnamectl set-hostname etcd-0-17
[root@etcd-server ~]# mkdir -p /data/app/etcd/
[root@etcd-0-17 ~]# egrep "^#|^$" /etc/etcd/etcd.conf -v
ETCD_DATA_DIR="/data/app/etcd/"
ETCD_LISTEN_PEER_URLS="http://172.16.0.17:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.17:2379"
ETCD_NAME="etcd-0-17"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.16.0.17:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://127.0.0.1:2379,http://172.16.0.17:2379"
ETCD_INITIAL_CLUSTER="etcd-0-8=http://172.16.0.8:2380,etcd-0-17=http://172.16.0.17:2380,etcd-0-14=http://172.16.0.14:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-token"
ETCD_INITIAL_CLUSTER_STATE="new"
复制代码
  • 配置完成后启动服务
systemctl start etcd
复制代码

4.2.5 查看集群状态

  • 查看etcd状态
[root@etcd-0-8 default.etcd]# systemctl status etcd
● etcd.service - Etcd Server
   Loaded: loaded (/usr/lib/systemd/system/etcd.service; enabled; vendor preset: disabled)
   Active: active (running) since 二 2019-12-03 15:55:28 CST; 8s ago
 Main PID: 24510 (etcd)
   CGroup: /system.slice/etcd.service
           └─24510 /usr/bin/etcd --name=etcd-0-8 --data-dir=/data/app/etcd/ --listen-client-urls=http://172.16.0.8:2379

12月 03 15:55:28 etcd-0-8 etcd[24510]: set the initial cluster version to 3.0
12月 03 15:55:28 etcd-0-8 etcd[24510]: enabled capabilities for version 3.0
12月 03 15:55:30 etcd-0-8 etcd[24510]: peer 56e0b6dad4c53d42 became active
12月 03 15:55:30 etcd-0-8 etcd[24510]: established a TCP streaming connection with peer 56e0b6dad4c53d42 (stream Message reader)
12月 03 15:55:30 etcd-0-8 etcd[24510]: established a TCP streaming connection with peer 56e0b6dad4c53d42 (stream Message writer)
12月 03 15:55:30 etcd-0-8 etcd[24510]: established a TCP streaming connection with peer 56e0b6dad4c53d42 (stream MsgApp v2 reader)
12月 03 15:55:30 etcd-0-8 etcd[24510]: established a TCP streaming connection with peer 56e0b6dad4c53d42 (stream MsgApp v2 writer)
12月 03 15:55:32 etcd-0-8 etcd[24510]: updating the cluster version from 3.0 to 3.3
12月 03 15:55:32 etcd-0-8 etcd[24510]: updated the cluster version from 3.0 to 3.3
12月 03 15:55:32 etcd-0-8 etcd[24510]: enabled capabilities for version 3.3
复制代码
  • 查看端口监听(若是未在本地监听环回地址，那么在本地使用etcdctl不能正常连入进去)
[root@etcd-0-8 default.etcd]# netstat -lntup |grep etcd
tcp        0      0 172.16.0.8:2379         0.0.0.0:*               LISTEN      25167/etcd
tcp        0      0 127.0.0.1:2379          0.0.0.0:*               LISTEN      25167/etcd
tcp        0      0 172.16.0.8:2380         0.0.0.0:*               LISTEN      25167/etcd
复制代码
  • 查看集群状态(能够看到etcd-0-17)
[root@etcd-0-8 default.etcd]# etcdctl member list
2d2e457c6a1a76cb: name=etcd-0-8 peerURLs=http://172.16.0.8:2380 clientURLs=http://127.0.0.1:2379,http://172.16.0.8:2379 isLeader=false
56e0b6dad4c53d42: name=etcd-0-14 peerURLs=http://172.16.0.14:2380 clientURLs=http://127.0.0.1:2379,http://172.16.0.14:2379 isLeader=true
d2d2e9fc758e6790: name=etcd-0-17 peerURLs=http://172.16.0.17:2380 clientURLs=http://127.0.0.1:2379,http://172.16.0.17:2379 isLeader=false

[root@etcd-0-8 ~]# etcdctl cluster-health
member 2d2e457c6a1a76cb is healthy: got healthy result from http://127.0.0.1:2379
member 56e0b6dad4c53d42 is healthy: got healthy result from http://127.0.0.1:2379
member d2d2e9fc758e6790 is healthy: got healthy result from http://127.0.0.1:2379
cluster is healthy
复制代码

五 简单使用

5.1 增长

  • set

指定某个键的值。例如:

$ etcdctl set /testdir/testkey "Hello world"
Hello world
复制代码

支持的选项包括：

--ttl '0' 该键值的超时时间(单位为秒)，不配置(默认为0)则永不超时
--swap-with-value value 若该键如今的值是value，则进行设置操做
--swap-with-index '0'   若该键如今的索引值是指定索引，则进行设置操做
复制代码
  • mk

若是给定的键不存在，则建立一个新的键值。例如:

$ etcdctl mk /testdir/testkey "Hello world"
Hello world
复制代码

当键存在的时候，执行该命令会报错，例如:

$ etcdctl mk /testdir/testkey "Hello world"
Error:  105: Key already exists (/testdir/testkey) [8]
复制代码

支持的选项为:

--ttl '0'  超时时间(单位为秒），不配置(默认为 0)。则永不超时
复制代码
  • mkdir

若是给定的键目录不存在，则建立一个新的键目录。例如：

$ etcdctl mkdir testdir2
复制代码

当键目录存在的时候，执行该命令会报错，例如：

$ etcdctl mkdir testdir2
Error:  105: Key already exists (/testdir2) [9]
复制代码

支持的选项为：

--ttl '0' 超时时间(单位为秒)，不配置(默认为0)则永不超时。
复制代码
  • setdir

建立一个键目录。若是目录不存在就建立，若是目录存在更新目录TTL。

$ etcdctl setdir testdir3
复制代码

支持的选项为:

--ttl '0' 超时时间(单位为秒)，不配置(默认为0)则永不超时。
复制代码

5.2 删除

  • rm

删除某个键值。例如:

$ etcdctl rm /testdir/testkey
PrevNode.Value: Hello
复制代码

当键不存在时，则会报错。例如:

$ etcdctl rm /testdir/testkey
Error:  100: Key not found (/testdir/testkey) [7]
复制代码

支持的选项为：

--dir 若是键是个空目录或者键值对则删除
--recursive 删除目录和全部子键
--with-value  检查现有的值是否匹配
--with-index '0'检查现有的index是否匹配
复制代码
  • rmdir

删除一个空目录，或者键值对。

$ etcdctl setdir dir1
$ etcdctl rmdir dir1
复制代码

若目录不空，会报错:

$ etcdctl set /dir/testkey hi
hi
$ etcdctl rmdir /dir
Error:  108: Directory not empty (/dir) [17]
复制代码

5.3 更新

  • update

当键存在时，更新值内容。例如：

$ etcdctl update /testdir/testkey "Hello"
Hello
复制代码

当键不存在时，则会报错。例如:

$ etcdctl update /testdir/testkey2 "Hello"
Error:  100: Key not found (/testdir/testkey2) [6]
复制代码

支持的选项为:

--ttl '0' 超时时间(单位为秒)，不配置(默认为 0)则永不超时。
复制代码
  • updatedir

更新一个已经存在的目录。

$ etcdctl updatedir testdir2
复制代码

支持的选项为:

--ttl '0' 超时时间(单位为秒)，不配置(默认为0)则永不超时。
复制代码

5.4 查询

  • get

获取指定键的值。例如：

$ etcdctl get /testdir/testkey
Hello world
复制代码

当键不存在时，则会报错。例如：

$ etcdctl get /testdir/testkey2
Error:  100: Key not found (/testdir/testkey2) [5]
复制代码

支持的选项为:

--sort 对结果进行排序
--consistent 将请求发给主节点，保证获取内容的一致性。
复制代码
  • ls

列出目录(默认为根目录)下的键或者子目录，默认不显示子目录中内容。

例如：

$ etcdctl ls
/testdir
/testdir2
/dir

$ etcdctl ls dir
/dir/testkey
复制代码

支持的选项包括:

--sort 将输出结果排序
--recursive 若是目录下有子目录，则递归输出其中的内容
-p 对于输出为目录，在最后添加/进行区分
复制代码

5.5 watch

  • watch

监测一个键值的变化，一旦键值发生更新，就会输出最新的值并退出。

例如:用户更新testkey键值为Hello watch。

$ etcdctl get /testdir/testkey
Hello world
$ etcdctl set /testdir/testkey "Hello watch"
Hello watch
$ etcdctl watch testdir/testkey
Hello watch
复制代码

支持的选项包括:

--forever  一直监测直到用户按CTRL+C退出
--after-index '0' 在指定index以前一直监测
--recursive 返回全部的键值和子键值
复制代码
  • exec-watch

监测一个键值的变化，一旦键值发生更新，就执行给定命令。

例如：用户更新testkey键值。

$ etcdctl exec-watch testdir/testkey -- sh -c 'ls'
config	Documentation  etcd  etcdctl  README-etcdctl.md  README.md  READMEv2-etcdctl.md
复制代码

支持的选项包括:

--after-index '0' 在指定 index 以前一直监测
--recursive 返回全部的键值和子键值
复制代码

5.6 备份

备份etcd的数据。

$ etcdctl backup --data-dir /var/lib/etcd  --backup-dir /home/etcd_backup
复制代码

支持的选项包括:

--data-dir  etcd的数据目录
--backup-dir 备份到指定路径
复制代码

5.7 member

经过list、add、remove命令列出、添加、删除etcd实例到etcd集群中。

查看集群中存在的节点

$ etcdctl member list
8e9e05c52164694d: name=dev-master-01 peerURLs=http://localhost:2380 clientURLs=http://localhost:2379 isLeader=true
复制代码

删除集群中存在的节点

$ etcdctl member remove 8e9e05c52164694d
Removed member 8e9e05c52164694d from cluster
复制代码

向集群中新加节点

$ etcdctl member add etcd3 http://192.168.1.100:2380
Added member named etcd3 with ID 8e9e05c52164694d to cluster
复制代码

示例

# 设置一个key值
[root@etcd-0-8 ~]# etcdctl set /msg "hello k8s"
hello k8s
 # 获取key的值
[root@etcd-0-8 ~]# etcdctl get /msg
hello k8s
 # 获取key值的详细信息
[root@etcd-0-8 ~]# etcdctl -o extended get /msg
Key: /msg
Created-Index: 12
Modified-Index: 12
TTL: 0
Index: 12

hello k8s
 # 获取不存在的key回报错
[root@etcd-0-8 ~]# etcdctl get /xxzx
Error:  100: Key not found (/xxzx) [12]
 # 设置key的ttl，过时后会被自动删除
[root@etcd-0-8 ~]# etcdctl set /testkey "tmp key test" --ttl 5
tmp key test
[root@etcd-0-8 ~]# etcdctl get /testkey
Error:  100: Key not found (/testkey) [14]
 # key 替换操做
[root@etcd-0-8 ~]# etcdctl get /msg
hello k8s
[root@etcd-0-8 ~]# etcdctl set --swap-with-value "hello k8s" /msg "goodbye"
goodbye
[root@etcd-0-8 ~]# etcdctl get /msg
goodbye
 # mk 仅当key不存在时建立(set对同一个key会覆盖)
[root@etcd-0-8 ~]# etcdctl get /msg
goodbye
[root@etcd-0-8 ~]# etcdctl mk /msg "mktest"
Error:  105: Key already exists (/msg) [18]
[root@etcd-0-8 ~]# etcdctl mk /msg1 "mktest"
mktest
 # 建立自排序的key
[root@etcd-0-8 ~]# etcdctl mk --in-order /queue s1
s1
[root@etcd-0-8 ~]# etcdctl mk --in-order /queue s2
s2
[root@etcd-0-8 ~]# etcdctl ls --sort /queue
/queue/00000000000000000021
/queue/00000000000000000022
[root@etcd-0-8 ~]# etcdctl get /queue/00000000000000000021
s1
 # 更新key值
[root@etcd-0-8 ~]# etcdctl update /msg1 "update test"
update test
[root@etcd-0-8 ~]# etcdctl get /msg1
update test
 # 更新key的ttl及值
[root@etcd-0-8 ~]# etcdctl update --ttl 5 /msg "aaa"
aaa
 # 建立目录
[root@etcd-0-8 ~]# etcdctl mkdir /testdir
 # 删除空目录
[root@etcd-0-8 ~]# etcdctl mkdir /test1
[root@etcd-0-8 ~]# etcdctl rmdir /test1
 # 删除非空目录
[root@etcd-0-8 ~]# etcdctl get /testdir
/testdir: is a directory
[root@etcd-0-8 ~]#
[root@etcd-0-8 ~]# etcdctl rm --recursive /testdir
 # 列出目录内容
[root@etcd-0-8 ~]# etcdctl ls /
/tmp
/msg1
/queue
[root@etcd-0-8 ~]# etcdctl ls /tmp
/tmp/a
/tmp/b
 # 递归列出目录的内容
[root@etcd-0-8 ~]# etcdctl ls --recursive /
/msg1
/queue
/queue/00000000000000000021
/queue/00000000000000000022
/tmp
/tmp/b
/tmp/a
 # 监听key，当key发生改变的时候打印出变化
[root@etcd-0-8 ~]# etcdctl watch /msg1
xxx

[root@VM_0_17_centos ~]# etcdctl update /msg1 "xxx"
xxx
 # 监听某个目录，当目录中任何 node 改变的时候，都会打印出来
[root@etcd-0-8 ~]# etcdctl watch --recursive /
[update] /msg1
xxx

[root@VM_0_17_centos ~]# etcdctl update /msg1 "xxx"
xxx
 # 一直监听，除非 `CTL + C` 致使退出监听
[root@etcd-0-8 ~]# etcdctl watch --forever /
 # 监听目录，当发生变化时执行一条命令
[root@etcd-0-8 ~]# etcdctl exec-watch --recursive / -- sh -c "echo change"
change
 # backup
[root@etcd-0-14 ~]# etcdctl backup --data-dir /data/app/etcd --backup-dir /root/etcd_backup
2019-12-04 10:25:16.113237 I | ignoring EntryConfChange raft entry
2019-12-04 10:25:16.113268 I | ignoring EntryConfChange raft entry
2019-12-04 10:25:16.113272 I | ignoring EntryConfChange raft entry
2019-12-04 10:25:16.113293 I | ignoring member attribute update on /0/members/2d2e457c6a1a76cb/attributes
2019-12-04 10:25:16.113299 I | ignoring member attribute update on /0/members/d2d2e9fc758e6790/attributes
2019-12-04 10:25:16.113305 I | ignoring member attribute update on /0/members/56e0b6dad4c53d42/attributes
2019-12-04 10:25:16.113310 I | ignoring member attribute update on /0/members/56e0b6dad4c53d42/attributes
2019-12-04 10:25:16.113314 I | ignoring member attribute update on /0/members/2d2e457c6a1a76cb/attributes
2019-12-04 10:25:16.113319 I | ignoring member attribute update on /0/members/d2d2e9fc758e6790/attributes
2019-12-04 10:25:16.113384 I | ignoring member attribute update on /0/members/56e0b6dad4c53d42/attributes
 # 使用v3版本
[root@etcd-0-14 ~]# export ETCDCTL_API=3
[root@etcd-0-14 ~]# etcdctl --endpoints="http://172.16.0.8:2379,http://172.16.0.14:2379,http://172.16.0.17:2379" snapshot save mysnapshot.db
Snapshot saved at mysnapshot.db
[root@etcd-0-14 ~]# etcdctl snapshot status mysnapshot.db -w json
{"hash":928285884,"revision":0,"totalKey":5,"totalSize":20480}


复制代码

六 总结

  • etcd 默认只保存 1000 个历史事件，因此不适合有大量更新操做的场景，这样会致使数据的丢失。 etcd 典型的应用场景是配置管理和服务发现，这些场景都是读多写少的。

  • 相比于 zookeeper，etcd 使用起来要简单不少。不过要实现真正的服务发现功能，etcd 还须要和其余工具（好比 registrator、confd 等）一块儿使用来实现服务的自动注册和更新。

  • 目前 etcd 尚未图形化的工具。

参考连接

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程