Docker的Etcd项目

etcd 是 CoreOS 团队发起的一个管理配置信息和服务发现（service discovery）的项目，在这一章里面，咱们将介绍该项目的目标，安装和使用，以及实现的技术。

Docker的etcd简介

什么是 etcd

etcd 是 CoreOS 团队于 2013 年 6 月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于 Go 语言实现。咱们知道，在分布式系统中，各类服务的配置信息的管理分享，服务的发现是一个很基本同时也是很重要的问题。CoreOS 项目就但愿基于 etcd 来解决这一问题。

etcd 目前在 github.com/coreos/etcd 进行维护，即将发布 2.0.0 版本。

受到 Apache ZooKeeper 项目和 doozer 项目的启发，etcd 在设计的时候重点考虑了下面四个要素：

• 简单：支持 REST 风格的 HTTP+JSON API
• 安全：支持 HTTPS 方式的访问
• 快速：支持并发 1k/s 的写操做
• 可靠：支持分布式结构，基于 Raft 的一致性算法

注：Apache ZooKeeper 是一套知名的分布式系统中进行同步和一致性管理的工具。注：doozer 则是一个一致性分布式数据库。注：Raft 是一套经过选举主节点来实现分布式系统一致性的算法，相比于大名鼎鼎的 Paxos 算法，它的过程更容易被人理解，由 Stanford 大学的 Diego Ongaro 和 John Ousterhout 提出。更多细节能够参考 raftconsensus.github.io。

通常状况下，用户使用 etcd 能够在多个节点上启动多个实例，并添加它们为一个集群。同一个集群中的 etcd 实例将会保持彼此信息的一致性。

Docker安装etcd

etcd 基于 Go 语言实现，所以，用户能够从 项目主页 下载源代码自行编译，也能够下载编译好的二进制文件，甚至直接使用制做好的 Docker 镜像文件来体验。

二进制文件方式下载

编译好的二进制文件都在 github.com/coreos/etcd/releases 页面，用户能够选择须要的版本，或经过下载工具下载。

例如，下面的命令使用 curl 工具下载压缩包，并解压。

curl -L  https://github.com/coreos/etcd/releases/download/v2.0.0-rc.1/etcd-v2.0.0-rc.1-linux-amd64.tar.gz -o etcd-v2.0.0-rc.1-linux-amd64.tar.gz tar xzvf etcd-v2.0.0-rc.1-linux-amd64.tar.gz cd etcd-v2.0.0-rc.1-linux-amd64

解压后，能够看到文件包括

$ ls
etcd  etcdctl  etcd-migrate  README-etcdctl.md  README.md

其中 etcd 是服务主文件，etcdctl 是提供给用户的命令客户端，etcd-migrate 负责进行迁移。

推荐经过下面的命令将三个文件都放到系统可执行目录 /usr/local/bin/ 或 /usr/bin/。

$ sudo cp etcd* /usr/local/bin/

运行 etcd，将默认组建一个两个节点的集群。数据库服务端默认监听在 2379 和 4001 端口，etcd 实例监听在 2380 和 7001 端口。显示相似以下的信息：

$ ./etcd
2014/12/31 14:52:09 no data-dir provided, using default data-dir ./default.etcd
2014/12/31 14:52:09 etcd: listening for peers on http://localhost:2380
2014/12/31 14:52:09 etcd: listening for peers on http://localhost:7001
2014/12/31 14:52:09 etcd: listening for client requests on http://localhost:2379
2014/12/31 14:52:09 etcd: listening for client requests on http://localhost:4001
2014/12/31 14:52:09 etcdserver: name = default
2014/12/31 14:52:09 etcdserver: data dir = default.etcd
2014/12/31 14:52:09 etcdserver: snapshot count = 10000
2014/12/31 14:52:09 etcdserver: advertise client URLs = http://localhost:2379,http://localhost:4001
2014/12/31 14:52:09 etcdserver: initial advertise peer URLs = http://localhost:2380,http://localhost:7001
2014/12/31 14:52:09 etcdserver: initial cluster = default=http://localhost:2380,default=http://localhost:7001
2014/12/31 14:52:10 etcdserver: start member ce2a822cea30bfca in cluster 7e27652122e8b2ae 2014/12/31 14:52:10 raft: ce2a822cea30bfca became follower at term 0 2014/12/31 14:52:10 raft: newRaft ce2a822cea30bfca [peers: [], term: 0, commit: 0, lastindex: 0, lastterm: 0] 2014/12/31 14:52:10 raft: ce2a822cea30bfca became follower at term 1 2014/12/31 14:52:10 etcdserver: added local member ce2a822cea30bfca [http://localhost:2380 http://localhost:7001] to cluster 7e27652122e8b2ae 2014/12/31 14:52:11 raft: ce2a822cea30bfca is starting a new election at term 1 2014/12/31 14:52:11 raft: ce2a822cea30bfca became candidate at term 2 2014/12/31 14:52:11 raft: ce2a822cea30bfca received vote from ce2a822cea30bfca at term 2 2014/12/31 14:52:11 raft: ce2a822cea30bfca became leader at term 2 2014/12/31 14:52:11 raft.node: ce2a822cea30bfca elected leader ce2a822cea30bfca at term 2 2014/12/31 14:52:11 etcdserver: published {Name:default ClientURLs:[http://localhost:2379 http://localhost:4001]} to cluster 7e27652122e8b2ae

此时，可使用 etcdctl 命令进行测试，设置和获取键值 testkey: "hello world"，检查 etcd 服务是否启动成功：

$ ./etcdctl set testkey "hello world" hello world $ ./etcdctl get testkey hello world

说明 etcd 服务已经成功启动了。

固然，也能够经过 HTTP 访问本地 2379 或 4001 端口的方式来进行操做，例如查看 testkey 的值：

$ curl -L http://localhost:4001/v2/keys/testkey {"action":"get","node":{"key":"/testkey","value":"hello world","modifiedIndex":3,"createdIndex":3}}

Docker 镜像方式下载

镜像名称为 quay.io/coreos/etcd:v2.0.0_rc.1，能够经过下面的命令启动 etcd 服务监听到 4001 端口。

$ sudo docker run -p 4001:4001 -v /etc/ssl/certs/:/etc/ssl/certs/ quay.io/coreos/etcd:v2.0.0_rc.1

Docker使用 etcdctl

etcdctl 是一个命令行客户端，它能提供一些简洁的命令，供用户直接跟 etcd 服务打交道，而无需基于 HTTP API 方式。这在某些状况下将很方便，例如用户对服务进行测试或者手动修改数据库内容。咱们也推荐在刚接触 etcd 时经过 etcdctl 命令来熟悉相关的操做，这些操做跟 HTTP API 其实是对应的。

etcd 项目二进制发行包中已经包含了 etcdctl 工具，没有的话，能够从 github.com/coreos/etcd/releases 下载。

etcdctl 支持以下的命令，大致上分为数据库操做和非数据库操做两类，后面将分别进行解释。

$ etcdctl -h
NAME:
   etcdctl - A simple command line client for etcd.

USAGE:
   etcdctl [global options] command [command options] [arguments...]

VERSION:
   2.0.0-rc.1

COMMANDS:
   backup backup an etcd directory mk make a new key with a given value mkdir make a new directory rm remove a key rmdir removes the key if it is an empty directory or a key-value pair get retrieve the value of a key ls retrieve a directory set set the value of a key setdir create a new or existing directory update update an existing key with a given value updatedir update an existing directory watch watch a key for changes exec-watch watch a key for changes and exec an executable member member add, remove and list subcommands help, h Shows a list of commands or help for one command GLOBAL OPTIONS: --debug output cURL commands which can be used to reproduce the request --no-sync don't synchronize cluster information before sending request --output, -o 'simple' output response in the given format (`simple` or `json`) --peers, -C a comma-delimited list of machine addresses in the cluster (default: "127.0.0.1:4001") --cert-file identify HTTPS client using this SSL certificate file --key-file identify HTTPS client using this SSL key file --ca-file verify certificates of HTTPS-enabled servers using this CA bundle --help, -h show help --version, -v print the version

数据库操做

数据库操做围绕对键值和目录的 CRUD （符合 REST 风格的一套操做：Create）完整生命周期的管理。

etcd 在键的组织上采用了层次化的空间结构（相似于文件系统中目录的概念），用户指定的键能够为单独的名字，如 testkey，此时实际上放在根目录 / 下面，也能够为指定目录结构，如 cluster1/node2/testkey，则将建立相应的目录结构。

注：CRUD 即 Create, Read, Update, Delete，是符合 REST 风格的一套 API 操做。

set

指定某个键的值。例如

$ etcdctl set /testdir/testkey "Hello world" Hello world

支持的选项包括：

--ttl '0' 该键值的超时时间（单位为秒），不配置（默认为 0）则永不超时 --swap-with-value value 若该键如今的值是 value，则进行设置操做 --swap-with-index '0' 若该键如今的索引值是指定索引，则进行设置操做

get

获取指定键的值。例如

$ etcdctl set testkey hello
hello
$ etcdctl update testkey world
world

当键不存在时，则会报错。例如

$ etcdctl get testkey2
Error: 100: Key not found (/testkey2) [1]

支持的选项为

--sort 对结果进行排序 --consistent 将请求发给主节点，保证获取内容的一致性

update

当键存在时，更新值内容。例如

$ etcdctl set testkey hello
hello
$ etcdctl update testkey world
world

当键不存在时，则会报错。例如

$ etcdctl update testkey2 world Error: 100: Key not found (/testkey2) [1]

支持的选项为

--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时

rm

删除某个键值。例如

$ etcdctl rm testkey

当键不存在时，则会报错。例如

$ etcdctl rm testkey2
Error: 100: Key not found (/testkey2) [8]

支持的选项为

--dir 若是键是个空目录或者键值对则删除 --recursive 删除目录和全部子键 --with-value 检查现有的值是否匹配 --with-index '0' 检查现有的 index 是否匹配

mk

若是给定的键不存在，则建立一个新的键值。例如

$ etcdctl mk /testdir/testkey "Hello world" Hello world

当键存在的时候，执行该命令会报错，例如

$ etcdctl set testkey "Hello world" Hello world $ ./etcdctl mk testkey "Hello world" Error: 105: Key already exists (/testkey) [2]

支持的选项为

--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时

mkdir

若是给定的键目录不存在，则建立一个新的键目录。例如

$ etcdctl mkdir testdir

当键目录存在的时候，执行该命令会报错，例如

$ etcdctl mkdir testdir $ etcdctl mkdir testdir Error: 105: Key already exists (/testdir) [7]

支持的选项为

--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时

setdir

建立一个键目录，不管存在与否。

支持的选项为

--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时

updatedir

更新一个已经存在的目录。 支持的选项为

--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时

rmdir

删除一个空目录，或者键值对。

若目录不空，会报错

$ etcdctl set /dir/testkey hi hi $ etcdctl rmdir /dir Error: 108: Directory not empty (/dir) [13]

ls

列出目录（默认为根目录）下的键或者子目录，默认不显示子目录中内容。

例如

$ ./etcdctl set testkey 'hi' hi $ ./etcdctl set dir/test 'hello' hello $ ./etcdctl ls /testkey /dir $ ./etcdctl ls dir /dir/test

支持的选项包括

--sort 将输出结果排序 --recursive 若是目录下有子目录，则递归输出其中的内容 -p 对于输出为目录，在最后添加 `/` 进行区分

非数据库操做

backup

备份 etcd 的数据。

支持的选项包括

--data-dir etcd 的数据目录 --backup-dir 备份到指定路径

watch

监测一个键值的变化，一旦键值发生更新，就会输出最新的值并退出。

例如，用户更新 testkey 键值为 Hello world。

$ etcdctl watch testkey
Hello world

支持的选项包括

--forever        一直监测，直到用户按 `CTRL+C` 退出 --after-index '0' 在指定 index 以前一直监测 --recursive 返回全部的键值和子键值

exec-watch

监测一个键值的变化，一旦键值发生更新，就执行给定命令。

例如，用户更新 testkey 键值。

$etcdctl exec-watch testkey -- sh -c 'ls' default.etcd Documentation etcd etcdctl etcd-migrate README-etcdctl.md README.md

支持的选项包括

--after-index '0' 在指定 index 以前一直监测 --recursive 返回全部的键值和子键值

member

经过 list、add、remove 命令列出、添加、删除 etcd 实例到 etcd 集群中。

例如本地启动一个 etcd 服务实例后，能够用以下命令进行查看。

$ etcdctl member list
ce2a822cea30bfca: name=default peerURLs=http://localhost:2380,http://localhost:7001 clientURLs=http://localhost:2379,http://localhost:4001

命令选项

• --debug 输出 cURL 命令，显示执行命令的时候发起的请求
• --no-sync 发出请求以前不一样步集群信息
• --output, -o 'simple' 输出内容的格式 (simple 为原始信息，json 为进行json格式解码，易读性好一些)
• --peers, -C 指定集群中的同伴信息，用逗号隔开 (默认为: "127.0.0.1:4001")
• --cert-file HTTPS 下客户端使用的 SSL 证书文件
• --key-file HTTPS 下客户端使用的 SSL 密钥文件
• --ca-file 服务端使用 HTTPS 时，使用 CA 文件进行验证
• --help, -h 显示帮助命令信息
• --version, -v 打印版本信息