只有5G而没有视频压缩，那么多媒体传输一切都是0

导语 | 2019年9月7日，腾讯技术开放日·5G多媒体专场在腾讯滨海大厦完美落幕。来自腾讯多媒体实验室的专家们给你们带来了关于5G技术和标准的精彩分享，揭开了许多关于5G的谜团。本文重点给你们讲解5G时代下多媒体标准、多媒体压缩前沿技术的标准化，以及面向将来的多媒体系统架构。

赵帅博士，腾讯5G&多媒体标准专家。赵帅博士2019年初加入腾讯美国公司，担任腾讯5G和多媒体标准专家。赵博士得到美国密苏里大学堪萨斯分校的研究生和博士学位，专一于计算机网络和多媒体系统标准于传输领域，在数多国际期刊都有文章发表，IETF RTP VVC负载格式编辑。

5G下，多媒体为何要作标准化

在5G下，多媒体产业链全景图跟4G LTE包括以太网差很少。如今社会上有不少一些错误的宣传认识，你们认为有了5G后能够无限制地在网上畅游。但其实，网上畅游的体验，不少时候彻底取决于5G运营商给老百姓提供的真实网络实现。多媒体产业链，基本是从有视频源开始，有了视频源后就有了视频压缩的技术和算法，有算法以后须要标准化。

多媒体的标准化包含两大块：多媒体压缩技术标准化（后文会重点讲）、多媒体系统传输标准化（包括3GPP和IETF的网络传输协议）。有了标准定义后，直接有标准的产出，面向消费者或者网络运营商。

为何要作标准？有如下四点缘由：

一是互联互通。保证各个厂商在指定多媒体5G标准下，各个设备之间能够互联互通。这是作标准最基本的原理。

二是防止垄断。由于这样各个公司能够相互参加，每个公司都会把本身的技术放在里面，保证技术的共享。

三是保证技术的先进性。好比参加5G国际标准制定时，不但能够把本身的技术贡献出去，更重要的是能够学习别人的技术，保证了咱们技术的先进性。

四是作标准有两个重要的做用：一是知识产权，实现商业化。有专利后把专利应用在产品上，任何人要买这个产品时就要付专利费。好比如今任何手机制造商产一个手机时都要给高通付钱，这是专利产品的价值。另外是防护性，不少专利产生时目的并非为了产生商业价值，而是保护本身。做为腾讯，不少专利的制定并非非得用这个专利卖钱，不少时候是保护措施。咱们有这样的专利，别的公司就不会经过专利投诉方式来控告咱们，由于咱们有本身的知识产权。

5G下，媒体应用所面临对挑战

视频流量一直是占领网络流量的先驱，在5G趋势下会只增不减思科公司考预测的2017年到2020年全国以IP为基础的视频流量百分比。到2020年视频流量百分比能够达到82%。到2020年82%的流量是视频传输，包括视频会议、小视频、云游戏相似的服务。

而5G下，媒体应用也面临着多种挑战。

一是新兴媒体格式的出现，包括4K、8K等。另外是新兴媒体的体验，好比沉浸式媒体、VR、加强现实AR、云游戏等都须要很强的带宽和低延时等网络的需求。好比自动驾驶，须要很高的网络可靠性。控制的链接设备、新兴媒体的运营模式，OTT运营好比像YouTube、NetFlix，国内的优酷等。美国NeFflix在高峰期时视频流量能够占全球65%。随着网络带宽愈来愈高，视频流量会愈来愈高，咱们想要体验更高的多媒体流量只会愈来愈难。

5G下重要的新兴媒体格式：8K

1.为何说8K是5G下重要的新兴媒体格式

如今不少人提到8K，8K对咱们来讲到底意味着什么？——8K意味着全方位视频体验的提高，一是分辨率，二是亮度，三是色彩位数，8位或者10位，而后是帧率。

8K分辨率是708x～4320，这比普通高清上升5-6个维度，意味着看到的像素更多，更清晰。

SDR和HDR是图像亮度的标准。亮度的单位nit。人眼对亮度能够识别0.01到2万nit。HDR以前用的是SDR，是100nit，跟人眼能够看到2万nit比起来仍是很小的。HDR是SDR的10倍大约是1000nit，图像更加清晰更加好。8K出现后，HDR可能达到5000或者1万。但随着8K不断推广，HDR技术不断提升，人肉眼看图像亮度时更加亮。

可是，普通视频是8位表示一个像素，8位是256种颜色；而有了8K后，10位或者12位是一个趋势，10位是一个像素有1024种颜色，12位更不少了。颜色越多，意味着看的色彩越鲜艳。这对咱们来说，更重要的是这表示每个视频、像素的份量就很重，最终落实到一个视频的文件大小，这个文件就会愈来愈大。

网络看视频大约在30帧每秒，在1秒里能够看30个图片。人的肉眼对快速移动的图片是分辨不清的。到8K后会支持到60帧一秒或者120、180。在一段时间内看图片的帧率会愈来愈多。这样看到的视频就会愈来愈平滑。如今看大片，慢动做，那个就是用高帧率拍，好比1秒钟拍了100个图片，在5秒钟内放出来，这就是慢动做释放的原理。

给你们看一下8视频文件的大小大。若是一个像素是15个bit（这个是比较保守，最可能该是30bit甚至更大），那么不通过压缩的一个120帧每秒的8K的视频1秒大约是60G。若是按照如压缩1000:1，压缩后60M左右。

咱们国家在8K的发展和普及相对落后，日本和韩国跑得相对快。日本将会在2020年用8K直播。中国在2022年冬奥会时也会用4K和8K结合的形式直播，相信那个时候不少8K支持的设备、网络协议、5G技术都会相对成熟一点。

2 .关于8K标准的制定，不得不提8K工业联盟

腾讯多媒体实验室在今年8月份时，成功加入了8K工业联盟，成为了董事会一席。这意味着腾讯在8K将来发展时有必定的话语权，能够参与制定8K的标准，在推进8K在将来5G网络下起到很是主导的做用。

5G多媒体压缩技术前沿

若是只有5G，而没有视频压缩，那对于多媒体来讲传输一切都是0。因此，这里我再讲一下腾讯多媒体实验室最重要的技术——视频压缩技术。

1.VVC（H266）视频压缩标准简介

简单讲一下视频压缩技术的演进：2003年AVC（H264）编码标准正式发布。2013年时到了HEVC（H265）。每一次视频压缩技术的迭代，都会比上一次主观上提升50%左右，客观上提升30%。客观是经过数学统计，主观是人眼看，最后综合下来有40%～50%的提升。

而VVC（H266）是腾讯多媒体实验室正在积极参与制定的。VVC在HEVC上客观节省33%，主观是40%～50%。腾讯多媒体实验室在很短期内有几十项专利被研发，而且好几个位成员都在VVC里承担主席席位。

VVC视频编码架构跟HEVC基本同样，但为何它会提升？在某些算法上通过前十年包括硬件的支持，算法上有优化、提升，在总体视频压缩基础上有客观上30%的提升和主观上50%的提升。

整个VVC包括HEVC在处理视频压缩时，根据最简单的视频播放道理，短期内看不少照片，视频压缩分两个方向：帧内压缩和帧间压缩。

帧间压缩是根据不一样图片之间的差异，把这几个照片放在一块进行压缩。HEVC只支持一种方法，VVC支持四种方法。在压缩时提供更多可能性，更大的提升了压缩的速率。

帧内压缩是在一个图片内找到类似点压缩。HEVC支持33种方向，但VVC能够支持65个方向，能够提升预测和压缩的准确性。VVC支持更多帧内预测技术好比MRL，支持多条线预测。

处理完帧间和帧内预测后，下一步作数学运算，把所预测的根据数学的离散正弦、离散余弦。这两个是压缩里比较经常使用的技术。HEVC只支持离散余弦，VVC支持离散余弦和离散正弦。把全部像素转成数字后，作数学运算，最后作无损压缩。视频压缩原理，就是把大数据变成小数据，文件大小就会下降。

2.腾讯多媒体实验室关于VVC技术落地总结和成果

如今VVC比以前作的HEVC视频压缩客观上33%左右，主观上50%。咱们在相同感官条件下，视频文件已经少了一半。

VVC应用的场景不少，对腾讯内部来讲有各类社交类，微信，腾讯视频，云游戏等。

截止到2016年6月份，腾讯VVC视频压缩技术是全球第三，并且是用了不到两年时间。

另外还有一个重要的成果，腾讯开发的《王者荣耀》被加入到VVC测试序列，能够更好的压缩游戏，这个意义对腾讯是很是大的。

3.腾讯多媒体实验室标准落地现状

在简单总结了标准制定的成果后，咱们再来看一下腾讯多媒体实验室标准落地现状。

这里重点讲一下云游戏。云游戏跟传统游戏最大的不一样是传统玩游戏时要买游戏而后下载而后安装，要补丁就要下载补丁。云游戏是任何处理都在云端服务器端，不须要下载，你须要的是注册一个账号，能够用任何设备，好比电脑、手机同时玩这个游戏。你如今坐在这儿玩，忽然要起来，拿着手机能够接着玩。这是云游戏为咱们带来的新的用户体验。如今全世界作云游戏的公司有谷歌、Microsoft，腾讯是第三个。如今在深圳、上海已经测试。

云游戏是视频压缩技术很大的应用场景，包括前面说的IETF里包括QUIC等不少网络传输标准。你的游戏安装都在云端，云端把游戏渲染，渲染以后以视频形式经过网络传输给客户端，客户端不须要维护、下载、安装游戏，也不须要打补丁，服务器已经帮你处理完，你须要的是像看一个电影同样玩游戏，这是很是不同的游戏用户体验。另外，多媒体实验室研发的TPG图片压缩技术，从主观上分不出区别的前提下文件数量少了十几倍，这使文件传输到云端会减小不少带宽。

4.关于解码标准

前面讲了咱们主要作视频压缩编码标准，如今咱们也在作结合标准，把标准作到编码器里，就能够直接产生商业化。咱们不只作编码也作解码，解码就是在客户端里播放这个视频，编码是把视频源压缩。同时，咱们也在维护一些免费的标准，像VP九、AV1，作一些本身的贡献，促进视频压缩生态圈健康发展下去。

面向将来的多媒体系统架构：异构计算

异构计算，就是用不一样的结构作计算。这个概念并非很新，在上世纪90年代已经有异构计算的概念，但当时硬件支持也并非很好，因此一直没有发展下去，最近十年人工智能、机器学习、深度学习、自动驾驶这些人工智能产品落地，对不一样计算的要求提升了一个档次。再加上摩尔定律，如今芯片制造厂商已经很难很难在短期内把芯片速率提升。

咱们已经见过异构结构，平时玩游戏装单独的CPU，或者CPU和GPU结合就是异构的一种。如今随着计算要求提升，好比云游戏，在云端须要大量GPU，把游戏压缩成视频再传输到客户端。若是只是用CPU，根本作不到，如今用GPU包括FPGA，把全部能运算的结构放在一块儿，让它们共同运转。好比CPU更好作的是缓存、处理，GPU能够作更好的运行处理。把不一样计算的兆放到不一样模块，实现更好的异构结构。多媒体实验室在这方面有很大的投入，好比跟不少芯片厂商合做，把咱们本身的编解码技术标准作到他们的芯片里，来为腾讯的业务服务。

欢迎关注“云加社区”公众号，回复关键词“5G风起”，更多5G相关内容即将呈现。