超高清4K视频低延时直播与RTC融合架构设计①：5G与将来的网络格局

4G 带来了音视频 APP 的爆发，各路音视频业务为主的公司百花齐放，音视频技术不管在广度仍是深度上都蓬勃发展，迎来了质的飞跃。而5G 高带宽，低延迟的特性，更是为音视频技术带来无限可能。

网易云信多媒体资深技术架构师吴桐受邀参加 2019 QCon 全球软件开发大会上海站，发表了题为《超高清4K视频低延时直播与RTC融合架构设计》的精彩分享。

本文整理自吴桐的分享内容，由于干货过多，本篇演讲实录将分为3篇主题文章发布。分别为：

• 超高清4K视频低延时直播与RTC融合架构设计①：5G与将来的网络格局
• 超高清4K视频低延时直播与RTC融合架构设计②：直播与RTC低延时方案
• 超高清4K视频低延时直播与RTC融合架构设计③：直播与RTC融合架构设计

如下是第一篇分享，网易云信多媒体资深技术架构师吴桐从5G的背景、特色提及，与你们探讨了边缘计算、IPv6等热门话题，同时分享了超高清编码器的选择方向。

5G与将来的网络格局

2019年是5G蓬勃发展的元年。今年6月，工信部为运营商颁发了5G牌照；9月，国民骄傲华为发布了首款真5G手机Mate 30，首次将处理器和5G基带集于一体；同时，你们也看到了特朗普政府对华为5G的种种刁难。全部这些都预示着，5G时代真的要来了。

那么，5G为音视频技术带来了哪些变化？咱们先看看5G的三大特征。

1. 超高的移动带宽，大流量。这个特征是你们最容易感觉到的变化，上下行带宽变大了。回看这几年，咱们从2.5G->3G->4G->5G一路走来，视频清晰度也从低清->标清->高清->超高清，到1080p，2k，4k。随着带宽不断变大，你们对于视频的清晰度的要求只会愈来愈高。在下文的超高清编码部分，会与你们进一步分享这个话题。
2. 超低延迟、超高可靠。5G虽然为你们提供了超低延迟的基础，但想要真正实现直播和RTC的低延迟，咱们还有不少工做要作，这也是咱们接下来两篇文章的重点。
3. 海量链接。将来的链接是海量的，之前你们使用PC电脑上网，后来，你们使用手机，如今已经有愈来愈多的智能设备能够链接上网，好比智能音箱、智能电视等。能够预见，愈来愈多的iOT设备将会拥有音视频能力，这是机遇也是挑战，咱们须要在音视频服务器架构上作好海量设备接入的准备，这部份内容在接下来的两篇文章中也会涉及。

聊完三大特征，咱们也基本把分享的大体内容圈定。而5G网络的这三个特征的在具体场景的落地实现还和5G的另外一个核心能力紧密相关，那就是边缘计算。接下来，咱们来聊聊5G的另外一个热点话题：5G与边缘计算。

5G与边缘计算

MEC不是一个新概念，早期它是Mobile Edge Computing移动边缘计算的简称，后来欧洲电信标准协会(ETSI)又扩展为Multi-Access Edge Computing，也就是多接入边缘计算。其实二者本质上没有区别，都是将互联网云端的计算能力下沉到移动网络的边缘，只是后者进一步延伸了这个边缘所在的位置。

下沉后有哪些好处呢？

1. 由于离用户更近了，因此用户感觉到的传输延时更小；
2. 网络拥塞被显著控制；
3. 由于能力下沉，因此运营商能够开放更多的网络信息和拥塞控制功能给开发者。

为了优化音视频场景下的用户体验，网易云信也在边缘计算领域进行积极地探索。今年，网易云信与运营商开展了MEC边缘计算能力合做，实践5G网络下在视频通话场景的体验优化。

上文5G三大特征里提到海量链接，接下来我想和你们分享一下与之相关、但你们可能会忽视的一个小话题。那就是：5G与IPv6。

5G与IPv6

IPv6想来你们必定不会陌生，咱们在本科的计算机网络课程中早已学习了相关背景知识，也早就知道了IPv4的局限。

咱们来看几个数据：

1. 全球的IPv4早在2011年2月已经分完了，咱们如今主要靠运营商NAT分配私网地址；
2. 全球的IPv6普及率突破30%，中国部署率大概为5%，这个数据可能不许确，可是就我我的使用体验而言，我确实没有感觉到IPv6的普及。

而将来物联网及海量5G设备时代确定是IPv6的天下。在5G时代背景下，IPv4+NAT的局限性愈发明显，如今工信部等国家相关机关，已经开始不断强调IPv6的重要性，网易也响应国家号召，要求集团内部的主要部门必需要加快实施。云信做为网易集团内IM和音视频能力底层提供方，天然属于第一批实施IPv6之列。网易云信当前已经完成了大部分IM和音视频相关服务器与客户端程序的IPv6兼容工做，其实这部分从技术实现上难度并不大；其次要作好机房路由器和交换机的相关IPv6部署改造工做。但愿你们要重视IPv6的相关改造工做，在5G时代全面到来前，都能快速平稳过分到IPv6下。

接下来，咱们聊一聊超高清编码。

超高清编码

咱们先看一组数据，在思科发布的将来网络预测白皮书中显示，网络视频的流量占比在2022年将高达82%，其中4K视频流量将占全部视频流量的62%，而4K视频的码率也将达到18Mbps。

咱们对于清晰度的需求愈来愈高，所以在项目中如何选择合适的编码尤其重要。这几年，咱们最经常使用的视频编码是H.26四、VP8，但它们的压缩率已经没法知足超高分辨率。那么在超高分辨率下，咱们还有什么能够选择？如今流行的编码有：HEVC(H.265)、VP九、AV一、以及下一代视频编码标准VVC。

选择编码器，咱们最主要考察它的两个方面：编码质量和速度。这里提供几个编码器数据，以供参考。这份数据由莫斯科国立大学在2019年4月份公开。质量方面：AV1 > VP9 / x265 > x264；速度方面：x264 > VP9 / x265 > AV1；其中VP9与x265的质量和速度都很接近。

依照上面的数据，咱们能够获得一个超高清编码器的选择建议：

1. 在Web端，也就是有WebRTC参与的场景下，优先选择VP9；
2. 对于iOS和Android的旗舰机型，优先使用H.265的硬件编码；
3. 服务器上可使用H.265的硬件加速，其中NVIDIA、Intel和Linux等不少芯片硬件和FPGA公司都提供相关解决方案；
4. AV1的视频压缩质量很高，且AV1具有开放的特性，所以它是一个很是具备前景的编码器，咱们当前对它保持重点关注，而对于VVC，在它2020年标准化后，咱们也会保持关注。

以上就是吴桐《超高清4K视频低延时直播与RTC融合架构设计》系列分享的第一篇文章，更多干货内容敬请期待。

想和吴桐老师面对面聊聊5G将会如何影响和改变即时通信与音视频技术发展？ 当即报名，走进《5G万物智联下的互联网通讯云技术》沙龙。