做者| 李鹏(元毅) 来源 | 阿里巴巴云原生公众号后端
Knative
Knative 提供了基于流量的自动扩缩容能力,能够根据应用的请求量,在高峰时自动扩容实例数;当请求量减小之后,自动缩容实例,作到自动化地节省资源成本。此外,Knative 还提供了基于流量的灰度发布能力,能够将流量的百分比进行灰度发布。服务器
在介绍 Knative 灰度发布和自动弹性以前,先带你们了解一下 ASK Knative 中的流量请求机制。架构
如上图所示,总体的流量请求机制分为如下部分:并发
- 左侧是 Knative Service 的版本信息,能够对流量设置百分比;下面是路由策略,在路由策略里,经过 Ingress controller 将相应的路由规则设置到阿里云 SLB;
- 右侧是对应建立的服务版本 Revision,在版本里对应有 Deployment 的资源,当流量经过 SLB 进来以后,直接根据相应的转发规则,转到后端服务器 Pod 上。
除了流量请求机制外,上图还展现了相应的弹性策略,如 KPA、HPA 等。less
Service 生命周期
Service 是直接面向开发者操做的资源对象,包含两部分的资源:Route 和 Configuration。阿里云
如上图所示,用户能够经过配置 Configuration 里面的信息,设置相应的镜像、内容以及环境变量信息。url
1. Configuration
Configuration 是:.net
- 管理容器指望的状态;
- 相似版本控制器,每次更新 Configuration 都会建立新的版本(Revision)。
如上图所示,与 Knative Service 相比较,Configuration 和它的配置很接近,Configuration 里配置的就是容器指望的资源信息。插件
2. Route
Route 能够:3d
- 控制流量分发到不一样的版本(Revision);
- 支持按照百分比进行流量分发。
如上图所示,一个 Route 资源,下面包括一个 traffic 信息,traffic 里面能够设置对应的版本和每一个版本对应的流量比例。
3. Revision
- 一个 Configuration 的快照;
- 版本追踪、回滚。
Knative Service 中版本管理的资源:Revision,它是 Configuration 的快照,每次更新 Configuration 就会建立一个新的 Revision,能够经过 Revision 实现版本追踪、灰度发布以及回滚。在 Revision 资源里面,能够直接地看到配置的镜像信息。
基于流量的灰度发布
如上图所示,假如一开始咱们建立了 V1 版本的 Revision,这时若是有新的版本变动,那么咱们只须要更新 Service 中的 Configuration,就会相应的建立出 V2 版本。而后经过 Route 对 V1 和 V2 设置不一样的流量比例,上图中 V1 是 70%,V2 是 30%,流量会按照 7:3 的比例分别分发到两个版本上。一旦 V2 版本验证没有问题,接下来就能够经过调整流量比例的方式进行继续灰度,直到新的版本 V2 达到 100%。
在灰度的过程当中,一旦发现新版本有异常,随时能够调整流量比例进行回滚。假设灰度到 30% 的时候,发现 V2 版本有问题,咱们就能够把比例调回去,在原来的 V1 版本上设置流量 100%,实现回滚操做。
除此以外,咱们还能够在 Route 中经过 traffic 对 Revision 打上一个 Tag,打完 Tag 以后,在 Knative 中会自动对当前的 Revision 生成一个可直接访问的 URL,经过这个 URL 咱们能够直接把相应的流量打到当前的某一个版本上去,这样能够实现对某个版本的调试。
自动弹性
在 Knative 中提供了丰富的弹性策略,除此以外,ASK Knative 中还扩展了一些相应的弹性机制,接下来分别介绍如下几个弹性策略:
- Knative Pod 自动扩缩容 (KPA);
- Pod 水平自动扩缩容 (HPA);
- 支持定时 + HPA 的自动扩缩容策略;
- 事件网关(基于流量请求的精准弹性);
- 扩展自定义扩缩容插件。
1. 自动扩缩容-KPA
▲Knative Pod 自动扩缩容(KPA)
如上图所示,Route 能够理解成流量网关;Activator 在 Knative 中承载着 0~1 的职责,当没有请求流量时, Knative 会把相应的服务挂到 Activator Pod 上面,一旦有第一个流量进来,首先会进入到 Activator,Activator 收到流量以后,会经过 Autoscaler 扩容 Pod,扩容完成以后 Activator 把请求转发到相应的 Pod 上去。一旦 Pod ready 以后,那么接下来相应的服务会经过 Route 直接打到 Pod 上面去,这时 Activator 已经结束了它的使命。
在 1~N 的过程当中,Pod 经过 kube-proxy 容器能够采集每一个 Pod 里面的请求并发指数,也就是请求指标。Autoscaler 根据这些请求指标进行汇聚,计算相应的须要的扩容数,实现基于流量的最终扩缩容。
2. 水平扩缩容-HPA
▲Pod 水平自动扩缩容(HPA)
它实际上是将 K8s 中原生的 HPA 作了封装,经过 Revision 配置相应的指标以及策略,使用 K8s 原生的 HPA,支持 CPU、Memory 的自动扩缩容。
3. 定时+HPA 融合
- 提早规划容量进行资源预热;
- 与 CPU、Memory 进行结合。
在 Knative 之上,咱们将定时与 HPA 进行融合,实现提早规划容量进行资源预热。咱们在使用 K8s 时能够体会到,经过 HPA 进行扩容时,等指标阈值上来以后再进行扩容的话,有时知足不了实际的突发场景。对于一些有规律性的弹性任务,能够经过定时的方式,提早规划好某个时间段须要扩容的量。
咱们还与 CPU、Memory 进行结合。好比某个时间段定时设置为 10 个 Pod,可是当前 CPU 对阈值计算出来须要 20 个 Pod,这时会取两者的最大值,也就是 20 个 Pod 进行扩容,这是服务稳定性的最基本保障。
4. 事件网关
- 基于请求数自动弹性;
- 1 对 1 任务分发。
事件网关是基于流量请求的精准弹性。当事件进来以后,会先进入到事件网关里面,咱们会根据当前进来的请求数去扩容 Pod,扩容完成以后,会产生将任务和 Pod 一对一转发的诉求。由于有时某个 Pod 同一时间只能处理一个请求,这时候咱们就要对这种状况进行处理,也就是事件网关所解决的场景。
5. 自定义扩缩容插件
自定义扩缩容插件有 2 个关键点:
- 采集指标;
- 调整 Pod 实例数。
指标从哪来?像 Knative 社区提供的基于流量的 KPA,它的指标是经过一个定时的任务去每一个 Pod 的 queue-proxy 容器中拉取 Metric 指标。经过 controller 对获取这些指标进行处理,作汇聚并计算须要扩容多少 Pod。
怎么执行扩缩容?其实经过调整相应的 Deployment 里面的 Pod 数便可。
调整采集指标和调整 Pod 实例数,实现这两部分后就能够很容易地实现自定义扩缩容插件。
实操演示
下面进行示例演示,演示内容主要有:
- 基于流量的灰度发布;
- 基于流量的自动扩缩容。
演示过程观看方式:https://developer.aliyun.com/live/246127
做者简介
李鹏,花名:元毅,阿里云容器平台高级开发工程师,2016 年加入阿里, 深度参与了阿里巴巴全面容器化、连续多年支持双十一容器化链路。专一于容器、Kubernetes、Service Mesh 和 Serverless 等云原生领域,致力于构建新一代 Serverless 平台。当前负责阿里云容器服务 Knative 相关工做。
Serverless 电子书下载
本书亮点:
- 从架构演进开始,介绍 Serverless 架构及技术选型构建 Serverless 思惟;
- 了解业界流行的 Serverless 架构运行原理;
- 掌握 10 大 Serverless 真实落地案例,活学活用。