在 Rolling Update 中使用 Health Check - 天天5分钟玩转 Docker 容器技术（146）

上一节讨论了 Health Check 在 Scale Up 中的应用，Health Check 另外一个重要的应用场景是 Rolling Update。试想一下下面的状况：

现有一个正常运行的多副本应用，接下来对应用进行更新（好比使用更高版本的 image），Kubernetes 会启动新副本，而后发生了以下事件：

1. 正常状况下新副本须要 10 秒钟完成准备工做，在此以前没法响应业务请求。

2. 但因为人为配置错误，副本始终没法完成准备工做（好比没法链接后端数据库）。

先别继续往下看，如今请花一分钟思考这个问题：若是没有配置 Health Check，会出现怎样的状况？

由于新副本自己没有异常退出，默认的 Health Check 机制会认为容器已经就绪，进而会逐步用新副本替换现有副本，其结果就是：当全部旧副本都被替换后，整个应用将没法处理请求，没法对外提供服务。若是这是发生在重要的生产系统上，后果会很是严重。

若是正确配置了 Health Check，新副本只有经过了 Readiness 探测，才会被添加到 Service；若是没有经过探测，现有副本不会被所有替换，业务仍然正常进行。

下面经过例子来实践 Health Check 在 Rolling Update 中的应用。

用以下配置文件 app.v1.yml 模拟一个 10 副本的应用：

10 秒后副本可以经过 Readiness 探测。

接下来滚动更新应用，配置文件 app.v2.yml 以下：

很显然，因为新副本中不存在 /tmp/healthy，是没法经过 Readiness 探测的。验证以下：

这个截图包含了大量的信息，值得咱们详细分析。

先关注 kubectl get pod 输出：

1. 从 Pod 的 AGE 栏可判断，最后 5 个 Pod 是新副本，目前处于 NOT READY 状态。

2. 旧副本从最初 10 个减小到 8 个。

再来看 kubectl get deployment app 的输出：

1. DESIRED 10 表示指望的状态是 10 个 READY 的副本。

2. CURRENT 13 表示当前副本的总数：即 8 个旧副本 + 5 个新副本。

3. UP-TO-DATE 5 表示当前已经完成更新的副本数：即 5 个新副本。

4. AVAILABLE 8 表示当前处于 READY 状态的副本数：即 8个旧副本。

在咱们的设定中，新副本始终都没法经过 Readiness 探测，因此这个状态会一直保持下去。

上面咱们模拟了一个滚动更新失败的场景。不过幸运的是：Health Check 帮咱们屏蔽了有缺陷的副本，同时保留了大部分旧副本，业务没有因更新失败受到影响。

接下来咱们要回答：为何新建立的副本数是 5 个，同时只销毁了 2 个旧副本？

缘由是：滚动更新经过参数 maxSurge 和 maxUnavailable 来控制副本替换的数量。

maxSurge

此参数控制滚动更新过程当中副本总数的超过 DESIRED 的上限。maxSurge 能够是具体的整数（好比 3），也能够是百分百，向上取整。maxSurge 默认值为 25%。

在上面的例子中，DESIRED 为 10，那么副本总数的最大值为：
roundUp(10 + 10 * 25%) = 13

因此咱们看到 CURRENT 就是 13。

maxUnavailable

此参数控制滚动更新过程当中，不可用的副本相占 DESIRED 的最大比例。 maxUnavailable 能够是具体的整数（好比 3），也能够是百分百，向下取整。maxUnavailable 默认值为 25%。

在上面的例子中，DESIRED 为 10，那么可用的副本数至少要为：
10 - roundDown(10 * 25%) = 8

因此咱们看到 AVAILABLE 就是 8。

maxSurge 值越大，初始建立的新副本数量就越多；maxUnavailable 值越大，初始销毁的旧副本数量就越多。

理想状况下，咱们这个案例滚动更新的过程应该是这样的：

1. 首先建立 3 个新副本使副本总数达到 13 个。

2. 而后销毁 2 个旧副本使可用的副本数降到 8 个。

3. 当这 2 个旧副本成功销毁后，可再建立 2 个新副本，使副本总数保持为 13 个。

4. 当新副本经过 Readiness 探测后，会使可用副本数增长，超过 8。

5. 进而能够继续销毁更多的旧副本，使可用副本数回到 8。

6. 旧副本的销毁使副本总数低于 13，这样就容许建立更多的新副本。

7. 这个过程会持续进行，最终全部的旧副本都会被新副本替换，滚动更新完成。

而咱们的实际状况是在第 4 步就卡住了，新副本没法经过 Readiness 探测。这个过程能够在 kubectl describe deployment app 的日志部分查看。

若是滚动更新失败，能够经过 kubectl rollout undo 回滚到上一个版本。

若是要定制 maxSurge 和 maxUnavailable，能够以下配置：

小结

本章咱们讨论了 Kubernetes 健康检查的两种机制：Liveness 探测和 Readiness 探测，并实践了健康检查在 Scale Up 和 Rolling Update 场景中的应用。

下节咱们开始讨论 Kubernetes 如何管理数据。 

书籍：

1.《天天5分钟玩转Kubernetes》
https://item.jd.com/26225745440.html

2.《天天5分钟玩转Docker容器技术》
https://item.jd.com/16936307278.html

3.《天天5分钟玩转OpenStack》
https://item.jd.com/12086376.html