摘要：在近日于上海召开的第六届Gopher China大会上，华为云微服务首席架构师田晓亮分享了《华为云的Go语言云原生实战经验》，讲述如何构建韧性、高可靠、安全的云原生应用系统，并孵化云原生应用开发框架Go chassis，以提高团队开发效能。
Gopher China做为国内最权威和最实力干货的Go大会，致力于为广大的Gopher提供一线分享交流机会，也为众多一线互联网公司大咖深刻探讨Go语言的应用发展提供契机。html
在近日于上海召开的第六届Gopher China大会上，华为云微服务首席架构师田晓亮就受邀分享了《华为云的Go语言云原生实战经验》，讲述如何构建韧性、高可靠、安全的云原生应用系统，并孵化云原生应用开发框架Go chassis，以提高团队开发效能。git
自华为在2016年成立Cloud BU以来，就引入了Go语言编写的Kubernetes，Prometheus等CNCF项目，华为云的研发团队也开始用Go语言来构建云服务。不过，当时Go的生态并不完善，因此要本身从头至尾编写基础能力模块。github
那么，如何用Go构建云服务并将基础能力慢慢创建起来，且听咱们慢慢道来。算法
从一个简单云应用看咱们如何构筑一个云服务
和Eureka同样，一个简单的注册发现服务Service Center能够经过多种手段来加强。apache
一、静态与动态信息定义
减小数据信息量，抽出公共部分统一管理，经过静态信息来划分实例组。这样微服务与微服务实例为1对n的映射，将微服务名、版本、数据中心等信息都抽到了公共部分，经过下降冗余度，来减小网络的开销，同时也规范化了微服务模型。编程
二、契约化微服务
上一张图咱们看到微服务静态信息里面包含了多个Schemas，里面关联了微服务所关联的契约文档，一样是1对n的映射关系。经过手动上传或者代码自动生成文档上传，能够在注册中心中查看微服务文档，且文档与微服务版本绑定，不容许更改。后端
对比客户端开发团队等待后端的服务编写完成后，才开始进行集成开发的方式。高效方式是以文档为基准，客户端与服务端同时开发，客户端经过Mock去除对服务端的依赖。缓存
为什么要保证文档先行？若是文档不及时审视，那么将会出现很是糟糕的状况。好比不一致的命名规范，定义类似的API，扩展能力差，任何一点都会大大增长研发成本。及早审视并规避十分重要，这就是为什么注册中心加入文档上传与查询能力。安全
三、服务间依赖管理
调用层级太高将引发定位困难、性能降低的问题，合理的层级是3个服务：a->b->c的调用就能够完成一次调用。彼此互相依赖的两个服务在功能升级或者变动时要花费更多时间来分析影响，好比ab互相依赖，一个新功能涉及2个都要更改，那怎么一块儿上线？restful
简单的依赖有助于系统测试和分析，这给架构师一个很好的审视方式，能够及时看到微服务间的依赖关系，以及时对架构调整。
四、缓存机制
因为Service Center内部自己是不存数据的，一旦etcd出现网络故障的时候，就会致使Service Center不可用。因此Service Center引入了异步缓存机制，启动之初，Service Center会与etcd创建一个长链接，也就是watch。为了防止创建watch时间窗发生变化，又作了一层保护，在watch以前作全量的查询。运行过程当中查询所获得的资源变化会缓存到Service Center本地，而后进行异步的循环。
总的来讲，咱们经过了多种手段来提高微服务研发效率，减小网络开销，并经过异步缓存提高性能。这是华为云积累的能力，但交付一个云服务远远不止交付业务功能这么简单，还要考虑微服务的安全、韧性、隐私、可运维等能力。
咱们刚才看到的只是水面之上的冰山，水面之下还隐藏着大量的基础能力须要编写。真的要达成微服务架构模式的愿景，须要繁重的工做量。就像冰山那样，咱们要将通用能力沉淀下去，可以复用。若是让各个业务团队同时照顾冰山上下，各自开发各自的，那结果将是灾难性的，企业用人成本极高，下面让咱们展开Service Center的架构看看。
立足Service Center架构，“冰山下”的基础能力库编写很重要
下面这个组件主要负责微服务的注册发现，提供Restful API。
它有四个主要的模块：
-
- 服务注册发现：经过注册发现完成服务拓扑的感知；
- 契约发现：每一个服务具有一个契约记录，支持多种格式如Open API，gRPC proto；
- RBAC：基于角色的访问控制，管理员能够管理帐号，将帐号分发给微服务或者不一样人员；
- 服务治理：针对微服务下发治理规则，好比重试，限流，熔断，路由策略等。
交付一个云服务远远不止交付业务功能，而是要去全方面的考虑安全，韧性，隐私，可运维等能力，固然咱们将部分的能力能够交给一些中间件来完成，好比网关。然而仍有大量功能须要本身编写，且能够复用在每一个微服务中，这就是基础能力库编写的初衷。
-
- 配额管理：云资源按照租户进行配额管理，租户所能使用的资源受到严格限制
- 告警：当微服务发生关键问题时要直接上报告警系统，而非经过云服务设置阈值等告警策略
- 安全：加解密证书，密码
- ID生成：ID的生成算法，用于生成微服务ID，实例ID等
- 多种中间件：调用过程须要被审计，调用链追踪，生成指标监控等
该项目已经开源并捐献给Apache， 项目地址https://github.com/apache/servicecomb-service-center
对于这些能力，抽取普通的库函数也是彻底不够用的，因此要作到以下能力：
可插拔：也就是按需在编译期引入（受限于Go语言能力），例如配额系统的具体实如今社区是不须要的。
异构系统：也就是一个功能要有多种具体实现，好比审计，公有云存在一套审计系统须要对接，而社区则是本地日志打印。
不一样的算法：解密工具、ID生成器……面对不一样的交付场景或安全要求，都要经过不一样实现来替换算法。好比ID生成能够是snowflake、UUID；加解密算法使用AES或者其余公开算法。
如何经过Go Chassis加速云服务开发？
为了知足上面提到的需求多样性，而且让全部新规划的组件受益、快速进行开发，咱们须要统一的框架和标准来加速开发，这就是华为云用Go语言编写的开发框架Go Chassis诞生的缘由。因此你们看能够看到go chassis的源码和设计有着service center代码的影子，感兴趣的同窗能够去深刻阅读下。
从Go Chassis的开发框架能够看到，业务逻辑是用户本身编写的业务代码，框架分为协议层、中间层和插件套件三部分，管理部分是云服务，框架开发出来的应用能够快速对接使用这些云能力。好比：
-
- 注册发现插件能够对接Service Center与kubenetes
- 配额管理插件能够对接云服务的配额管理服务
- 中间件如指标监控对接到prometheus
那么如何经过这个框架来加速咱们的开发呢？
手段1：将后端服务做为插件使用
后端服务指的是不禁本身组织开发并运维，从应用运行到基础设施不可见的黑盒子服务。常见的后端包括配额管理、认证鉴权服务和对象存储服务，云原生的其中一个要素是把后端服务看成附加资源。
当咱们调用这些后端服务时，其实它们并不在微服务的治理体系内，考虑到可测试性（好比mock测试）以及可替换性（业务可以连续，且随时更换更好的服务，应对变换的需求等），咱们须要将它们插件化，以灵活的进行选择替换或者去除。
手段2：沉淀需求基线
在咱们提供任何一种服务前，咱们都须要知足基本的要求，好比：
-
- 请求体必须作大小限制
- API必须限流
- 密码不能明文存储
- 访问进行认证鉴权
- 无单点故障
- 访问审计
- 运维能力
考虑到这些需求，首先要将运行时的调用模型标准化。因为不一样部门会有私有协议诉求，那么服务治理就交给核心框架完成，协议由业务部门决定自主研发或是集成现有协议。
当公司内部不一样部门都在开发本身的协议作本身的服务治理时，再将业务统一在一个架构、工具链上，就很是困难。
因此，咱们使用Invocation概念来统一协议描述，这样就能够在统一的处理链中进行处理。
处理链的设计知足AOP，也就是在业务处理的先后加入代码逻辑进行特殊处理，好比审计用户操做。
ResponseCallBack 用于接受后置handler返回的结果，因此每个handler处理时均可以按需定义本身的ResponseCallBack来获取后面handler，甚至是业务逻辑代码的执行结果，让通用逻辑（即中间件）和业务逻辑完全解耦。
目前Go Chassis已经支持的中间件包括限流、熔断、负载均衡、认证鉴权和审计，都用此机制来实现：将公司所有的工具链，服务治理手段，安全合规等都落入处处理链中，来快速加快研发速度，并统一规范，减小管理负担。
框架内部提供给了命令式调用能力，好比指标收集。
也提供了声明式使用方式，好比流量管理，其具有基于流量特征的限流能力。
从插件能力全景图能够看到，Go Chassis目前已经支持多种生态，并对多种后端系统提供了抽象接口，从而帮助应用快速开发。
经过这样的框架，咱们可让业务团队专一于业务代码开发，而无需理解后端的复杂性和其余非功能需求。带来的收益以下：
• 对于庞大的系统能够进行mock测试，提高交付质量
• 应对不一样的交付场景
• 保证后端可替换性
• 研发职责界面分离
从架构或者业务演进的角度来思考，后端使用的技术是在快速演进的，咱们须要经过后端服务的快速替换来确保系统和产品的及时演进，因此接口设计的可替换性大于可重用性。这也知足程序设计原则的依赖倒置，当咱们再开发一个新的微服务时，仅仅须要实现他的业务逻辑便可。
手段3：经过配置简化开发流程
这也是一种命令式调用方式，其结构以下：
Source层: 配置源是一种标准接口，能够经过实现一个source来接入不一样配置源，它定义配置来自哪一个资源：能够来自远端系统，来自本地文件，来自环境变量或是启动命令行。source负责将配置项缓存到本地内存，用户能够选择加载任意的source实现。
remote source：对接分布式配置管理系统，目前对接了携程开源的配置中心Apollo。
Config manager：负责整合管理全部source的配置，每一个source能够定义优先级，当经过manager获取配置时，若是2个不一样的source有相同的配置，那么就会取最大优先级的配置。
Event Dispatcher：用户能够经过Archaius API进行配置变化监听，当source内部的配置项新增、更新、删除、时，都会通知监听器。
Source优先级：优先级由大到小依次为Config center、CLI、ENV、file，当有相同配置项的时候仅优先级大的配置生效。在一个分布式系统中，远程的配置中心理应拥有最大优先级。而在本地运行一个独立的进程时，一般的思惟是命令行参数优先级高于环境变量，高于本地文件内容。拥有了这样一套机制后，用户就无需再写代码处理配置项生效逻辑。
Archaius API： 封装底层实现，提供友好的API供开发者使用。
其中，内存source很是重要，它使得UT测试更加简单。File source使得本地进程的测试可行。远程的配置中心好比携程的Apollo，则帮助系统进行联调测试并支撑生产环境。
手段4：易处理
意思是它们能够瞬间开启或中止。 这里咱们不会谈到快速的开始，由于Go语言和Docker运行时，容器平台就能处理这样的一个场景，因此咱们谈谈面向意外的处理。
这个Protocol server一般表明一个协议，也能够是某种编程模型，好比http。
还有个框架的配置样例，意思是在一个微服务进程中拉起了2个http端口和grpc端口服务。
在收到系统信号后，就会遍历的中止每一个server。
另外由社区开发者贡献的自定义优雅停机功能，能够容许用户劫持信号和停机处理过程，也能够在先后自定义处理过程。
手段5：轻量级内核
目前，Go Chassis只依赖必要的prometheus、opentracing、jwt、k8s client、Go-restful相关的依赖库。
注册发现也是可插拔的。
另外，包括grpc协议、kubernetes注册中心等多种能力都在另外一个仓库中提供，能够按需引入
拥有本身从新制造的轮子
拥有本身从新制造的轮子是Go Chassis开发框架logo想要传达的理念。
我认为真正有能力的团队不会本身从新制造轮子，由于他们懂什么是轮子，什么样的轮子适合本身，并将这种抽象的轮子引入并进行加强，打形成更加适合本身的轮子，你是“越野轮子”仍是“雪地轮子”，品类皆由你定。咱们将本身研发团队积累的能力抽象成多种接口及插件，为的就是不要重复制造轮子，而是基于现有轮子从新打造，让项目产品跑的更快。
Go Chassis的案例分享
首先是基于Go Chassis和Service Center进行服务治理的视频通话后台，其一直应用于华为荣耀手机和智慧屏等终端上，且上线了公有云，有效支撑终端公司畅联通话上亿注册用户。
第二个案例是基于Go Chassis开发服务治理底座的边缘处理能力，它管理全国29个省、自治区的将近10万边缘节点，超过50万边缘应用的部署。支撑了1万多个收费站的门架信息采集业务的不断调整、更新，知足了每日3亿条以上的信息采集。为往后车路协同、自动驾驶等创新业务的发展提供了良好的平台支撑。
（https://github.com/kubeedge/kubeedge）
除此以外，华为云ServiceStage就是无缝托管基于GoChassis开发的微服务，并在此之上提供免运维的微服务引擎功能
（ https://www.huaweicloud.com/product/servicestage.html）
总结
一、定义你的应用开发通讯协议
一家公司很是重要的两样东西是企业文化与行为规范，这是每一个公司的领导者必须优先定义的事情，它就像是一种通讯协议，保证团队之间可以良好的协做。这样领导者就无需事必躬亲，甚至能够作到无为而治。这套机制就是所谓的“通讯协议”
因此定义一套通讯协议是很是重要的。Go chassis就是Go研发团队的通讯协议。
每一个微服务都是个小团队开发的，有多是同一个团队，也多是不一样团队，咱们所作的框架是为了定义一套最简化的范式（接口与模型），以此来减轻研发的成本，同时兼顾扩展性，不要对开发有过分的限制。咱们规范化了API first来审视API设计，依赖管理来审视合理的服务关系，并规定全部的能力要沉淀为插件与中间件，而这些都是为了定义研发团队开发与治理云服务的“通讯协议”。
二、Go在新基建中的做用
互联网演进第一代是PC，第二代是手机，第三代即是万物互联，5G时代容许更多的设备接入，而较小的设备势必会催生新的半导体，新的操做系统（好比说华为鸿蒙），这样一层层下去，势必会须要一种新的语言及对应的框架，Go语言的特性就很契合这样一个位置，而分布式的设备也须要一种框架来进行治理，Go Chassis也将在这里扮演比较重要的角色。
综上，我认为Go语言极可能成为基础设施领域的一个开发底座，从kubeedge、视频云等项目使用Go Chassis就能够看出端倪。
欢迎你们参与社区， Go Chassis开源项目地址：https://github.com/go-chassis/go-chassis
本文分享自华为云社区《华为云的Go语言云原生实战经验：创建云原生应用开发基础能力》，原文做者：灰灰哒 。