蚂蚁金服金融级容器引擎实践之路

摘要： 蚂蚁金服的解决方案叫作“CAFE”（Cloud Application Fabric Engine）。

小蚂蚁说：

在金融级分布式架构中使用容器，许多企业的开发者都面临许多挑战。在2018年ATEC蚂蚁金服技术探索大会上，蚂蚁金服高级技术专家盛延敏在演讲中分析了容器与云原生技术的本质，为容器在分布式架构上的使用带来了实用高效的解决方案。

关于蚂蚁金服科技开放其余的技术产品，你还能够参考阅读：

《独家 | 蚂蚁金服TRaaS技术风险防控平台解密》；

《深度|蚂蚁金服分布式金融核心套件：金融核心系统变革助推器》；

《2.0 解析系列 | 一文详解新一代OceanBase云平台》…… 

容器与云原生技术

云原生技术由来已久，它包含五部分基础技术，包括容器（Containers）、服务网络（Service Meshes）、声明式API（Declarative APIs）、不可变基础设施（Immutable Infrastructure）、微服务（Microservices），以及公共云、混合云、专有云三种能力。

容器（特别是docker）、微服务你们都比较熟悉，先来简单解释一下你们可能比较陌生的服务网络、声明式API和不可变基础设施的做用：

“服务网络”可以解决诸如跨语言、跨技术栈等问题；而声明式API则是目前CNCF等社区很是推崇的一种理念，好比k8s里面的对象采用了api、kind、version等方式，最终描述了一种指望达到的状态；至于不可变基础设施？这个概念比较难理解，咱们知道k8s里面的pod是一个豌豆夹，里面能够放不少容器，每当声明（declare）新spec的时候，系统就会将pod销毁，产生新的pod对象，这个概念它比较像咱们购买iphone，iphone是一个封闭的体系，用户想换的时候就须要买一个新的，不可变基础设施不意味着比较稳定。

回顾一下云计算的发展（如上图所示），开始的时候你们关注虚拟化，在虚拟机中安装软件和中间件，让应用跑起来。随着技术的进步，你们开始思考能不能将基础架构屏蔽，因而创造出以app为中心的理念，使用大规模发布的能力、自动化的运维，将中间件和应用代码耦合在一块儿部署在一个平台上，上移至PaaS层。

技术再进步，你们又想到了CaaS，经过docker的镜像、云原生的统一抽象和标准，让应用和基础组件包含在一块儿，以镜像的方式发布应用，你们的视角转移到容器、微服务体系的融合，“云原生”的时代就此来临。

金融级分布式架构使用容器的挑战

那么在金融级分布式架构下使用容器，咱们会面临什么样的挑战？主要有三方面：

第一，已有的基础设施，包括资产管理、监控体系、运维体系，如何能平滑过渡？

第二，微服务架构，包括服务发现与寻址、跨语言支持、服务治理如何落地？

第三，如何让专有云、公共云及混合云具有弹性伸缩能力？

蚂蚁金服的解决方案叫作“CAFE”（Cloud Application Fabric Engine），它是理念以及产品集合，包括“两个标准”，即云 Provider标准、Open Service Broker API标准；“三个平台”，即“应用与容器平台”（主要关注容器和应用生命周期的管理）、“监控分析平台”（主要关注logging、trace、metrics以及链路、事件等平台）及“容灾应灾平台”（‘三地五中心’就是由它支持）；“三个形态”包括专有云、公共云及混合云；其中构建了“N个解决方案”，包括DevOps、容器以及分布式架构的解决方案等。

上文提到的三个问题究竟该如何应对呢？蚂蚁金服提供了从传统到云原生的桥梁，帮助用户平滑地过渡基础设施；SOFAMesh原生的支持，帮助用户快速落地微服务2.0架构；混合云的架构，实现弹性能力。

三个应对之道

1. 从传统到云原生的桥梁

从传统到云原生，你们有不少广泛存在的困惑：好比习惯了VM（虚拟机）体系该怎么办？云原生适合我么？可否渐进上云原生？（有些任务用传统方式作，有些用云原生，两边是否是能互联互通？）

为了解决传统运维体验的问题，蚂蚁金服提供一种方式，不将容器视为单体，而是轻量化的虚机，让用户能够登陆、关机、开机、重启，这种方式与操做模式无关，用户能够经过镜像化发布，也能够登陆到机器中从新作service的启停。

熟悉容器技术的人都知道，若是容器自己的内核不支持，整个容器资源都会显示宿主机的资源，蚂蚁有强大的团队，能够修复这样的内核问题，另外能够支持单容器操做，让发布先后容器IP、ID保持不变，将PV和PVC绑定，创造兼容传统运维的用户体验。作到这一点，须要不少技术积累。

基于虚拟机的生命周期管理，咱们先来复习一下原生pod的生命周期管理：一个pod的建立指令被接受了之后，会进入pending（暂停）的状态，这意味着这个容器、这个pod没调度，或者尚未生成，直到任务被create（生成）出来后才会进入running（运行）状态。若是全部的容器退出了,流程就会进入succeed（成功），中间running和failed可能会反复。

Native Pod 生命周期

然而，这个生命周期不可以彻底知足企业级需求，所以咱们经过升级和定制，定义了以下的CAFE Pod生命周期，经过它咱们能够同时支持虚拟机发布和镜像发布；分组、灰度和无损发布；版本管理，变动自愈（不少开发者社区的东西并能拿来便可用，好比咱们打造的底盘夯实的能力，这一能力可以在pod出现问题时及时熔断兜底）；原地升级和重建升级；经过分布式架构体系实现同城双活、异地多活；经过技术风险体系实现etcd在线备份，宕机迁移，高可靠，可运维，可监控，可交付等。这一架构经过Upgrading支持虚拟机经过镜像原地替换的方式发布，本地的存储均可以保留下来，资源还能够放大，好比2G变4G。

CAFE Pod 生命周期

咱们还设计了全新的负载Cafe Application，在主机故障或者停机时自动在新机器上拉起容器提供服务；在升级后（非upgrade容器方式），新pod和原pod的Ip不变；支持按分组配置升级部分容器，而且长时间能够保持该状态；支持原地升级（inplace）和重建升级（replace）；提供相似statefulset的podname，每一个容器的名字都是惟一的；每一个容器都有单独的pv，pvc，相似statefulset；在升级前能够加入一些控制，好比摘除流量，注销注册中心等；并支持回滚到以前版本。

此外，云原生方式还要求底层具备更强大的日志能力，咱们要把全部在系统里面产生的pod的日志进行收集、存储、投递。以下是整个日志搜集能力的架构图，这一架构复用了蚂蚁中间件团队积累的强大的技术实力，包含了两大核心中间件。

第一是有流式投递能力的AntQ。还有就是咱们基于Elastic search作了深度改造的ZSearch，提供整个日志的存储和检索的能力。每一台机器上会有logAgent，它会和咱们的LogService通讯，接受dockerD来的一些event（事件），而后会和docker graph交互，拿到docker实例的文件句柄，源源不断地把这些文件流输送给AntQ，AntQ拿到之后，咱们能够经过几种路径来完成整个日志的输送，对于最实时的任务能够直接经过AntQ来投递到实时的计算引擎；对于准实时的日志查询或者链路监控的需求，咱们创建index（索引），让上层的链路、监控能拿到这些数据，作一些链路分析和日志查询。对于非实时的需求，咱们能够经过投递到hdfs完成离线数据报表的分析和制做。

2. SOFAMesh原生支持

前面一部分讲到如何从传统的应用迁移到所谓的云原生容器的方式，对任何一个公司来讲如何使用容器技术落地微服务架构，而且随着产品的不断迭代、业务需求愈来愈多，微服务体系是否能够支持上，支持好，这么大的技术成本对于中小公司来讲是难觉得继的。

有没有更好的办法呢？答案就是SOFAMesh，即SOFAStack的中间件，它能够提供全新的微服务2.0的能力。经过业务聚焦，支持多语言、多技术栈，经过CAFE平台可让业务迅速得到这种能力。

上图是咱们在SOFAMesh上的部署架构，其控制层面叫SOFAMesh Pilot，数据层面叫作MOSN模块，说白了它就是一个智能网关，全部的信息都经过APP发给MOSN模块，作网络传输；MOSN模块同时不断地把metrics, logging等投递到到日志，监控和链路分析基础设施，以便用户全方位地掌控微服务架构的情况。

这套体系加上蚂蚁金服沉浸多年的中间件的能力，以及数据中心，在金融场景中获得了大规模验证。

使用CAFE去打开SOFAMesh有什么好处？最大的好处就是开箱即用。并且它提高了技术竞争力，整合PaaS能力，统一应用管控。举个简单例子，若是有一天你的老板说，可不能够对iOS的移动流量来一个5%的线上灰度，如今的微服务架构体系里面是能够作到的，可是侵入性很是大，而SOFAMesh框架能够定规则，由Pilot下发，上面的MOSN模块很容易实现。因而可知，SOFAMesh爆发的能量是很是巨大的。SOFAMesh和CAFE是实现微服务架构的绝佳拍档。

3. 混合云架构支持

最后说一下弹性伸缩混合云。有些公司想上专有云，琢磨着能不能在公共云里面作一部分开发测试，而后再上专有云，而专有云自己资源有限，在资源有限的状况下能不能自由迁移，弹性伸缩，节省成本，这都是不少厂商看重的。蚂蚁金服近些年在这方面作了不少努力。

蚂蚁金服支持混合云架构，可以把应用的数据、镜像等在多朵云之间同步，在多个云上迅速拉起应用，包括任务调度等，在专有云、公共云之间自由分配工做负载，达到弹性伸缩的能力。

上图是咱们基于CAFE容器引擎验证的全栈产品输出能力，咱们的全栈产品的品牌叫作Antstack，包括了金融企业须要的全部关键组件，你们熟知的OceanBase容器化也在这个平台里面。Antstack底层经过资源调度提供计算存储网络，再上层提供产品组件，开发平台等等，这些产品能够知足不一样金融场景，包括银行保险场景的解决方案。

最后三句话总结一下，CAFE为传统运维平滑迁移到云原生提供了很好的桥梁，为基于SOFAStack、SOFAMesh的微服务落地提供了绝佳的大规模运维的平台，为整个企业选择公有云、专有云、混合云架构提供了更好灵活性和敏捷性，蚂蚁金服还将继续将运维部署作稳作精，就像精心制做一杯醇正的咖啡（Cafe同音），为你们带来更好的体验。

— END —

原文连接