更强、更稳、更高效：解读 etcd 技术升级的三驾马车

点击下载《不同的 双11 技术：阿里巴巴经济体云原生实践》

本文节选自《不同的 双11 技术：阿里巴巴经济体云原生实践》一书，点击上方图片便可下载！

做者 | 陈星宇（宇慕）阿里云基础技术中台技术专家

导读：etcd 是阿里巴巴内部容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程当中它又一次承担了关键角色，接受了 双11 大压力的检验。为了让更多同窗了解到 etcd 的最佳实践和阿里巴巴内部的使用经验，本文做者将和你们分享阿里巴巴是如何把 etcd 升级得更强、更稳、更高效的，但愿经过这篇文章让更多人了解 etcd, 享受云原生技术带来的红利。

让 etcd 变得更强

本节主要介绍 etcd 在性能方面的升级工做。首先咱们来理解一下 etcd 的性能背景。

性能背景

这里先庖丁解牛，将 etcd 分为以下几个部分，以下图所示：

每一部分都有各自的性能影响，让咱们逐层分解：

1. raft 层：raft 是 etcd 节点之间同步数据的基本机制，它的性能受限于网络 IO、节点之间的 rtt 等， WAL 受到磁盘 IO 写入延迟；

2. 存储层：负责持久化存储底层 kv, 它的性能受限于磁盘 IO，例如：fdatasync 延迟、内存 treeIndex 索引层锁的 block、boltdb Tx 锁的 block 以及 boltdb 自己的性能；

3. 其余还有诸如宿主机内核参数、grpc api 层等性能影响因子。

服务端优化

了解完背景后，这里介绍一下性能优化手段，主要由服务端和客户端两个方面组成，这里先介绍服务端优化的一些手段。

硬件部署

etcd 是一款对 cpu、内存、磁盘要求较高的软件。随着内部存储数据量的增长和对并发访问量的增大，咱们须要使用不一样规格的硬件设备。这里咱们推荐 etcd 至少使用 4 核 cpu、8GB 内存、SSD 磁盘、高速低延迟网络、独立宿主机部署等（具体硬件的配置信息）。在阿里巴巴，因为有超大规模的容器集群，所以咱们运行 etcd 的硬件也较强。

软件优化

etcd 是一款开源的软件，集合了全世界优秀软件开发者的智慧。最近一年在软件上有不少贡献者更新了不少性能优化，这里分别从几个方面来介绍这些优化，最后介绍一个由阿里巴巴贡献的 etcd 存储优化。

1. 内存索引层。因为索引层大量使用锁机制同步对性能影响较大，经过优化锁使用，提高了读写性能，具体参考：github pr；
2. lease 规模化使用。lease 是 etcd 支持 key 使用 ttl 过时的机制。在以前的版本中 scalability 较差，当有大量 lease 时性能降低的较为严重，经过优化 lease revoke 和过时失效的算法，解决了 lease 规模性的问题，具体参考：github pr；
3. 后端 boltdb 使用优化。etcd 使用 boltdb 做为底层数据库存储 kv, 它的使用优化对总体性能影响很大。

经过调节不一样的 batch size 和 interval， 使咱们能够根据不一样硬件和工做负载优化性能，具体参考：github pr。

除此以外，新的彻底并发读特性也优化了 boltdb tx 读写锁性能，大幅度地提高了读写性能，具体参考：github pr。

最后介绍一个由阿里巴巴自主研发并贡献开源社区的优化：基于 segregated hashmap 的 etcd 内部存储 freelist 分配回收算法。

下图是一个 etcd 节点的架构，etcd 使用 boltdb 持久化存储全部 kv，它的性能好坏对 etcd 性能起着很是重要的做用。

在阿里巴巴内部大规模使用 etcd 用于存储元数据，在使用中咱们发现了 boltdb 的性能问题。这里给你们分享一下：

上图是 etcd 内部存储分配回收的核心算法。etcd 内部默认以 4kB 为一个页面大小存储数据。图中的数字表示页面 id, 红色表示该页面正在使用, 白色表示没有。当用户删除数据时 etcd 不会把存储空间还给系统，而是内部先留存起来维护一个页面池，以提高再次使用的性能，这个页面池专业术语叫 freelist。当 etcd 须要存储新数据时，普通 etcd 会线性扫描内部 freelist，时间复杂度 o(n)，当数据量超大或是内部碎片严重的状况下，性能会急剧降低。

所以咱们从新设计并实现了基于 segregated hashmap 的 etcd 内部存储 freelist 分配回收新算法，该优化算法将内部存储分配算法时间复杂度从 o(n) 降为 o(1), 回收从 o(nlgn) 也降为 o(1), 使 etcd 性能有了质的飞跃，极大地提升了 etcd 存储数据的能力，使得 etcd 存储容量提高 50 倍，从推荐的 2GB 提高到 100GB；读写性能提高 24 倍。CNCF 官方博客收录了这次更新，感兴趣的读者能够读一下。

客户端优化

性能优化除了服务端要作的事情外，还须要客户端的帮助。保持客户端使用最佳实践将保证 etcd 集群稳定高效地运行，这里咱们分享 3 个最佳实践：

1. put 数据时避免大的 value, 大的 value 会严重影响 etcd 性能，例如：须要注意 Kubernetes 下 crd 的使用；
2. 避免建立频繁变化的 key/value, 例如：Kubernetes 下 node 数据上传更新；
3. 避免建立大量 lease 对象，尽可能选择复用过时时间接近的 lease, 例如 Kubernetes 下 event 数据的管理。

让 etcd 管理更高效

做为基于 raft 协议的分布式键值数据库，etcd 是一个有状态的应用。管理 etcd 集群状态、运维 etcd 节点、冷热备份、故障恢复等过程均有必定复杂性，且须要具有 etcd 内核相关的专业知识，想高效地运维 etcd 有不小的挑战。

目前在业界里已经有一些 etcd 运维的工具，例如开源的 etcd-operator 等，可是这些工具每每比较零散，功能通用性不强，集成度比较差，学习这些工具的使用也须要必定的时间，关键是这些工具不是很稳定，存在稳定性风险等。

面对这些问题，咱们根据阿里巴巴内部场景，基于开源 etcd-operator 进行了一系列修改和增强，开发了 etcd 运维管理平台 Alpha。利用它，运维人员能够高效地运维管理 etcd，以前要先后操做多个工具完成的任务，如今只要操做它就能够完成，一我的就能够管理成百上千的 etcd 集群。

下图展现了 Alpha 的基础功能：

如上图所示，Alpha 分为 etcd 生命周期管理和数据管理两大部分。

其中生命周期管理功能依托于 operator 中声明式的 CustomResource 定义，将 etcd 的集群建立、销毁的过程流程化、透明化，用户再也不须要为每一个 etcd 成员单独制定繁琐的配置，仅须要指定成员数量、成员版本、性能参数配置等几个简单字段。除此以外，咱们还提供了 etcd 版本升级、故障节点替换、集群实例启停等功能，将 etcd 经常使用的运维操做自动化，同时也在必定程度上保证了 etcd 变动的稳定性。

其次，数据做为 etcd 的核心内容，咱们也开发了一系列功能进行重点保障。在备份上，数据管理工具支持按期冷备及实时热备，且保持本地盘和云上 OSS 两类备份，同时也支持从备份上快速恢复出一个新的 etcd 集群。此外，数据管理工具支持对 etcd 进行扫描分析，发现当前集群的热点数据键值数和存储量，弥补了业界没法提供数据管理的空白，同时该拓展也是 etcd 支持多租户的基础。最后，数据管理工具还支持对 etcd 进行垃圾数据清理、跨集群数据腾挪传输等功能。

这些丰富的功能为上层 Kubernetes 集群的管理提供了不少灵活的帮助，例如用户 A 原来在某云厂商或自建 Kubernetes 集群，咱们能够经过迁移 etcd 内部的帐本数据的功能，将用户的核心数据搬移至另一个集群，方便地实现用户的 K8s 集群跨云迁移。

利用 Alpha，咱们能够作到透明化、自动化、白屏化，减小人肉黑屏操做，让 etcd 运维管理更高效。

让 etcd 变得更稳

本节主要介绍一些 etcd 稳定建设的技巧。你们知道 etcd 是容器云平台的底层依赖核心，它的服务质量、稳定程度决定了整个容器云的稳定程度，其重要性无需赘述。这里先介绍一下 etcd 常见的问题和风险分析，以下图所示，主要分三个方面：

• etcd 自身：例如 OOM、代码 bug、panic 等；
• 宿主机环境：例如宿主机故障、网络故障、同一台宿主机其余进程干扰；
• 客户端：例如客户端 bug、运维误操做、客户端滥用 ddos 等。

针对这些风险点，咱们从如下几方面入手：

1. 创建完善的监控告警机制，覆盖客户端输入，etcd 自身以及宿主机环境状态；
2. 客户操做审计，高危操做如删除数据作风控限流；
3. 数据治理，分析客户端滥用，引导最佳实践；
4. 按期数据冷备，经过热备实现异地多活，保证数据安全；
5. 常态化故障演练，作好故障恢复预案。

总结展望：让 etcd 变得更智能

本文分别从性能、稳定性、生态工具三个部分享了 etcd 变得更强、更快、更高效的技巧。在将来咱们还将为让 etcd 变得更智能而努力。如何让 etcd 变得更智能是一个比较高级的话题，这里简单作一下展望。更智能的意思是指可使 etcd 的管理更加地聪明，更少的人为干预，例如遇到一些故障，系统能够自行修复等。

本书亮点

• 双11 超大规模 K8s 集群实践中，遇到的问题及解决方法详述
• 云原生化最佳组合：Kubernetes+容器+神龙，实现核心系统 100% 上云的技术细节
• 双 11 Service Mesh 超大规模落地解决方案

“阿里巴巴云原生微信公众号（ID：Alicloudnative）关注微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践，作最懂云原生开发者的技术公众号。”