带宽利用率提高50%，腾讯云联网架构方案解析

时间 2020-12-01

原文原文链接

导语 | 企业 A 是一家互联网公司，当前在云上计算资源已经接近 10W 核，华东地域专线流量 24G+，资源部署以华东为主、华北、华南、西南等可用区为辅。该企业属于典型的混合云架构，本文主要分享企业A如何经过云联网架构优化实现带宽利用率提高50%，但愿与你们一同交流。文章做者：李彬文，腾讯云售后架构师。

1、云联网背景介绍

1. 对等链接概述

对等链接（Peering Connection）是一种大带宽、高质量的云上资源互通服务，能够帮助打通腾讯云上的资源通讯链路。对等链接具备多区域、多帐户、多种网络异构互通等特色，支持 VPC 间互通、VPC 和黑石私有网络互通，知足不一样业务的部署需求。算法

2. 传统专线概述

混合云架构前期都是使用传统的专用通道打通用户 IDC 与云上 VPC。若是一根物理专线须要打通多个 VPC，须要经过不一样的 VLAN ID 分别建立专用通道来链接多个VPC。安全

3. 云联网概述

云联网（Cloud Connect Network，CCN）为用户提供云上不一样 VPC间、VPC 与本地数据中心间（IDC）内网互联的服务。具有全网多点互联、路由自学习、链路选优及故障快速收敛等能力。网络

云联网覆盖全球 20+ 地域，支持 100+Gbps 带宽以及最高可达 99.99% 的可用性，为用户轻松构建极速、稳定、安全、灵活的全球互联网络，典型应用场景以下：架构

VPC 与 VPC 间高质量内网互联：在线教育多个地域的实时音视频系统、游戏加速多地域内网互联、多地域容灾架构。
VPC 与 IDC 间内网全互联：一个专用通道打通多个 VPC，实现单次接入全网互联，如混合云场景。

云联网对比对等链接和传统专线的优点以下图所示：负载均衡

下文将从企业 A 的实际出发，介绍企业 A 采用腾讯云联网的架构优化实践。运维

2、企业A架构现状介绍

1. 企业A混合云背景介绍

企业 A 核心业务位于华东地区，在上海有两个 VPC，一个自建 IDC。在北京、成都、广州、HK 各有一个 VPC，其中 HK 的 VPC 用于接入海外业务。分布式

最终经过对等链接以及传统专线通道实现全部云上 VPC 与自建 IDC 的互联互通（因为传统架构互联线路较多暂不提供具体拓扑，下文提供了分解拓扑）。学习

2. 公有云VPC经过对等链接互联架构

企业 A 上海地域当前是两个 VPC，一个是业务 VPC，另一个是用于测试的 VPC，同地域两个 VPC 之间理论上不限制带宽，除非底层数据中心的 DCI 互联带宽（DCI 互联带宽都是上 T 级别）被打满才会致使同地域对等链接丢包；
企业 A 的少许海外业务经过香港 2 区的 VPC 作接入，再经过 100Mbps 的对等链接实现打通上海 5 区的核心业务 VPC；
企业 A 分布在华东、华北、华南、西南的业务 VPC 经过对等链接全互连实现业务互访。

3. 公有云VPC与自建IDC经过传统专线互联架构

名词解释：NGW（底层专线网关集群）、QCAR（网络设备）、QCPL（网络设备）IDC（数据中心）。测试

企业 A 公有云 VPC 到自建 IDC 天天峰值总流量 24Gbps，正常四条 10G 专线均分流量为：24Gbps*25%=6Gbps；
当前企业 A 的传统专线架构是专线 1 与二、专线 3 与 4 相互备份，当专线 1 故障，那么专线 1 的流量会转发到专线 2，因此每条专线的带宽使用率不建议超过 50%；
因为企业 A 业务快速增加，当前每条专线的带宽使用率已经达到 60%。若是上图 2 的专线 1 故障，就会有 12Gbps 的流量转发到专线 2，最终致使专线 2 带宽拥塞而丢包影响业务。

4. 当前互联架构的挑战

公有云 VPC 之间互通要创建全互连的对等链接，而且每次增长 VPC 都有增长大量对等链接和路由，最终致使维护成本愈来愈高；
跨地域对等链接的底层网关集群故障没法自动切换路由恢复，止损耗时久；
企业 A 自建 IDC 到腾讯云的四条专线，如何实现中断任何一条，另外三条专线可用均分故障链路的流量，最终经过最低的成本解决丢包问题；
企业 A 有四个公有云 VPC 须要和自建 IDC 互通，那么须要四个专线网关，以及 16 个 BGP 邻居和专线通道。后续每增长一个 VPC 就会增长四个专线通道，最终致使专线的运维成本增长。

3、云联网改造方案介绍

1. 公有云VPC经过云联网互联架构设计

企业 A 全部 VPC 只须要加入新建云联网实例，便可实现相互路由自动学习，无需维护大量对等链接和大量手工添加的路由；
全部存量 VPC 以及后续增量 VPC 互通的流量都须要经过云联网实现，能够将该云联网实例看做企业 A 的虚拟骨干网；
多 AZ（可用区）网关集群容灾，可用性比对等链接更高；
跨地域云联网网关之间会有拨测，最终选择最优路径来下降延迟，提高业务稳定性。

2. 公有云VPC与自建IDC经过云联网互联架构设计

名词解释：CCNGW（云联网类型专线网关）、QCAR（网络设备）、QCPL（网络设备）IDC（数据中心）。优化

企业 A 全部 VPC 以及四个专线网关都加入同一个云联网实例最终实现相互访问，而且不管几个 VPC 和自建 IDC 互通只须要 4 个专线通道便可（简化配置复杂度，简单可靠）；
云上 VPC 路由下一跳是云联网，而后经过 ECMP（负载均衡）四份流量到 4 个云联网专线网关，最终通道底层路由将流量经过四条物理专线转发到自建 IDC（逻辑转发路径：VPC---CCN---专线网关---专线---IDC）；
假设企业 A 的物理专线 1 再次中断，那么 QCPL1 没法收到自建 IDC 的 BGP 路由。最终经过路由收敛使得云联网将流量转发给云联网专线网关 2-4，从而实现任意一条物理专线故障都会将流量均分给其余三条专线；
在成本不增长的状况下，经过云联网的改造将专线带宽利用率从理论值 50% 提高到 75% 实现降本增效。

4、云联网改造总结

1. 云联网改造带来的实际收益

企业 A 全部云上 VPC 没必要两两之间建立对等链接，只须要加入云联网便可实现所有的互联互通，下降了云上 VPC 的运维成本；
企业 A 跨地域 VPC 互通的网关集群实现多 AZ 容灾，提高跨地域互通的可用性；
企业 A 的四条专线峰值总流量 24Gbps 状况下中断任意一条都会经过路由收敛自动恢复业务，没必要依赖于被动等待专线修复或者降级其余业务来恢复，最终提高专线的高可用性；
企业 A 云上 VPC 与 IDC 互通只须要建立 4 个 BGP 邻居便可，也没必要为每一个云上 VPC 建立专线网关，最终极大下降专线的运维成本。

2. 云联网改造注意事项

线上业务改造须要很谨慎，建议前期作好深度调研，好比相关业务特征，带宽容量评估，当前架构的梳理，当前架构的缺点，新架构是否解决老架构缺点，各个地域的改造难度，是否能够平稳切换到新架构等。

双方一块儿确认新架构灰度基本步骤，基本原则是：先灰度测试 VPC，而后按 VPC 业务量从小到大的顺序进行灰度。

未使用过云联网的用户建议先建立测试 VPC 熟悉云联网配置方法，具体可参考文末提供的相关文档。

真正灰度前拉通腾讯云网络专家评估新老架构的底层网关路径差别，网关集群的带宽容量，底层路径MTU差别，云联网限速算法（截止 2020 年 11 月依然存在均分算法和分布式算法两种，出于带宽利用率最大化考虑建议分布式算法）等。

每次灰度迁移都须要有明确的变动步骤、验证步骤、回退步骤，最终来确保灰度顺利完成。

每一个帐号云联网数量限制 5 个，每一个云联网能够绑定的网络实例（例如 VPC 就是一个网络实例）数量限制 25 个。

云联网跨地域带宽限速方式有两种，一种是地域出口限速（单地域云联网总的出口限速），另一种是地域间限速（地域 A 到地域 B 之间的带宽限速）。

参考文档：

[1] 测试 VPC 配置文档：

https://cloud.tencent.com/document/product/877/18752

[2] 对等链接迁移云联网配置文档：

https://cloud.tencent.com/document/product/877/18854

[3] 传统专线网关迁移云联网专线网关配置文档：

https://cloud.tencent.com/document/product/877/31037

[4]：做者专栏文章：

https://cloud.tencent.com/developer/article/1754757