拍乐云运维专家受邀QECon大会，畅谈多云环境伸缩实践

5月28日-29日, QECon全球软件质量&效能大会在深圳万丽酒店圆满落幕。本届QECon大会聚焦“智能、云原生、协同提效、业务价值” 等主题词，在大会主场的主旨演讲和15个专场的主题分享中获得详尽、全面的诠释。拍乐云做为业内技术领先的音视频云服务商在云原生、DevOps方面有着深厚的技术积累，运维专家&负责人毛立平受邀参加本次大会。

今天咱们处在一个新时代——数字化时代，万物互联，技术突飞猛进，云原生、智能、大数据、区块链等技术被软件产品和研发普遍应用，促进业务价值链重构。同时，软件系统的复杂性、不肯定性也与日俱增，给研发和运维带来巨大的挑战。为此，咱们更乐意采用敏捷、DevOps开发模式，快速迭代，持续集成，持续交付；咱们也更加关注效能，开源协同，数据驱动效能，完善工具链，加速业务价值的交付。

拍乐云Pano 运维专家&负责人毛立平在「云原生质量」专题论坛中给你们带来了一场关于「多云环境弹性伸缩实践」的精彩分享，引发了在场听众的积极响应和深刻思考。如下为部分演讲实录。

#1

多云的优点和挑战

对于一个实时互动的音视频服务，拍乐云须要在全球范围内作到端到端通讯400ms之内。所以咱们采用了分布式的部署架构，在大区自建数据中心，同时利用公有云的能力做为补充，将服务部署到不一样云厂商的不一样地域，达到更好的网络覆盖效果。对于第三方云厂商也没法覆盖的区域，咱们经过在边缘机房部署 Pop 节点的方式进行加速。经过大区自建数据中心+多云+ Pop 节点的混合方案，咱们实现了全球 200+ 国家及地区的网络覆盖和全球用户的就近接入。

咱们将服务部署在多云环境，会有如下优点：

利用不一样厂商的网络，能够得到更好的网络覆盖；

能够得到更好的弹性，全球不一样云不一样区域随时进行扩容缩容；

鸡蛋不放在一个篮子，能够得到更好的服务可用性，单一云厂商出现不可用时，也不会影响总体服务。

然而，将服务运行在多云环境时也会面临一些挑战：

镜像一致性：不一样云厂商的镜像会不一致， 同一个云厂商的镜像在不一样时刻，也会有不一致的状况；

拓扑一致性：不一样云上基础设施部署拓扑也存在不一致的状况；

功能一致性：不一样云的功能/性能/网络表现存在差别；

容量一致性：不一样云上如何定义一个统一容量标准，如何进行扩容/缩容。

#2

多云的解决办法

面对这些挑战，拍乐云采用了如下解决思路：

标准化：自定义镜像制做方式，统一不一样云的镜像。自定义部署拓扑结构，统一不一样云的部署拓扑；

分层化：分离基础设施和应用部署的过程；

代码化：将基础设施代码化，实现IaC(Infrastructure as Code)，同时将应用部署代码化，全脚本化部署应用；

自动化：定义服务容量，跨云伸缩规则配合调度规则实现自动扩容缩容。

在评估服务容量时，大多数的厂家使用的是 CPU、带宽这类系统参数来决策是否进行服务扩容/缩容。但这会容易出现一些问题，好比：CPU 使用率不是很高时，服务容量可能已经不足了，这种状况下，根据系统指标进行扩容缩容，容易出现问题。

拍乐云使用的是应用层的容量指标来描述，全部服务统一使用 0-1000 表示容量。每一个应用服务都会暴露这个容量指标，同时，咱们经过对比这个容量指标和系统指标的差别，持续对容量指标的精度进行修正。等跑了一段时间之后，这个容量指标就能比系统指标更精确，符合实际。

#3

多云的效果和将来工做

目前拍乐云能作到在几分钟内，对全网完成全球数百个服务器并发扩容/缩容，轻松应对突发流量。将来，咱们将对历史容量趋势进行分析，优化扩容/缩容的步长，进一步提高扩容/缩容的精度。做为一家全球化的实时音视频云服务商，咱们将以数据为驱动，深耕 DevOps 领域，夯实底层基础设施，为企业和开发者提供更加优质的音视频体验。