不少开发者一直以来好奇:阿里本身有没有在用Dubbo,会不会用Dubbo?在刚刚结束的双11,咱们了解到阿里云今年提出了“三位一体”的理念,即将“自研技术”、“开源项目”、“商业产品”造成统一的技术体系,最大化技术的价值。终于,在2020的双11,阿里巴巴经济体也用上了Dubbo!本文是阿里双十一在考拉大规模落地 Dubbo3.0 的技术分享,系统介绍了 Dubbo3.0 在性能、稳定性上对考拉业务的支撑。编程
HSF 是阿里内部的分布式的服务框架,做为集团中间件最重要的中间件之一,历经十多届双十一大促,接受万亿级别流量的锤炼,十分的稳定与高效。另一方面,Dubbo 是由阿里中间件开源出来的另外一个服务框架,而且在 2019 年 5 月以顶级项目身份从 Apache 毕业,坐稳国内第一开源服务框架宝座,拥有很是普遍的用户群体。性能优化
在集团业务总体上云的大背景下,首要挑战是完成 HSF 与 Dubbo 的融合,以统一的服务框架支持云上业务,同时在此基础上衍生出适应用下一代云原生的服务框架 Dubbo 3.0,最终实现自研、开源、商业三位一体的目标。今年做为 HSF&Dubbo 融合以后的 Dubbo 3.0 在集团双十一落地的第一年,在兼容性、性能、稳定性上面都面临着很多的挑战。可喜的是,在今年双十一在考拉上面大规模使用,表现稳定,为从此在集团大规模上线提供了支撑。服务器
Dubbo 3.0 整体方案
在上面的方案中,能够看出来咱们是以 Dubbo 为核心,HSF 做为功能扩展点嵌入到其中,同时保留 HSF 原有的编程 API,以保证兼容性。为何咱们选址以 Dubbo 为核心基础进行融合,主要这两点的考量:数据结构
1.Dubbo 在外部拥有很是普遍的群众基础,以 Dubbo 为核心,符合开源、商业化的目标;并发
2.HSF 也经历过核心升级的状况,咱们拥有比较丰富的处理经验,对于 Dubbo 3.0 新核心内部落地也是处于可控的范围以内。框架
选定这个方案以后,咱们开始朝着这个方向努力,因为 Dubbo 开源已久,不像 HSF 这样经历过超大规模集群的考验验证,那么咱们是如何去保证它的稳定性呢?分布式
稳定性
为了保证新核心的稳定,咱们从各个方面进行巩固,保证万无一失微服务
1.功能测试高并发
HSF3 共有集成用例数百个, 100% 覆盖到了 HSF 的核心功能;HSF3 的单测共有上千个,行覆盖率达到了 51.26%性能
2.混沌测试
为了面对突发的异常状况,咱们也作了相应的演练测试,例如 CS 注册中心地址停推空保护测试、异常注入、断网等状况,以此验证咱们的健壮性;例如,咱们经过对部份机器进行断网,结果咱们发现有比较多的异常抛多。
缘由是 Dubbo 对异常服务端剔除不够及时,致使还会调用到异常服务器,出现大量报错。
同时,咱们也构建了突发高并发状况下的场景,发现了一些瓶颈,例如:
瞬间大并发消耗掉绝大部分 CPU 。
3.性能优化
Dubbo 核心以前未经历过超大规模集团的考验,性能上面必将面临着巨大的挑战;对于 Dubbo 来讲,优化主要从地址推送链路和调用服务链路两个链路来进行。对于地址推送链路,主要是减小内存的分配,优化数据结构,减小静态时地址占用内存对应用的影响,从而减小 ygc/fgc 形成的抖动问题。咱们利用测试同窗提供的风暴程序,模拟了反复推送海量地址的场景,经过优化,120万个 Dubbo 服务地址常态内存占用从 8.5G 降低到 1.5G,有效下降 GC 频率
另一方面,在调用链路上,咱们主要对选址过程、LoadBalacer、Filter 等进行优化,整体 CPU 降低达到 20%,RT 也有一个比较明显的降低。
成果
在双十一考拉零点高峰,某个 Dubbo 接口,总的流量达到了数百万次/每分钟 ,全程稳定顺滑,达到了预约的目标,Dubbo 3.0 是至重启开源以来,首次在这么大规模的场景进行验证,充分证实了 Dubbo 3.0 的稳定性。
结语
在本次双11考拉落地 Dubbo 3.0 只是在阿里内部全面落地 Dubbo3.0 的第一步,如今 Dubbo 3.0 云原生的新特性也如火如荼的进行开发与验证,如应用级服务发现、新一代云原生通讯协议 Triple 等已经开始在集团电商应用开始进行 Beta 试点。
阿里微服务体系完成了经过开源构建生态和标准,经过云产品 MSE、EDAS 等完成产品化和能力输出,经过阿里内部场景锻炼高性能和高可用的核心竞争力。从而完成了三位一体的正向循环,经过标准持续输出阿里巴巴的核心竞争力,让外部企业快速享有阿里微服务能力,加速企业数字化转型!
做者:覃柳杰(花名:未宇)Github ID: qinliujie,Apache Dubbo PMC;阿里巴巴微服务框架 HSF 负责人,负责 HSF 研发及 Dubbo 在阿里的落地。
本文为阿里云原创内容,未经容许不得转载。