详解虎牙AI超分技术：“无中生有”打造S9直播4K画质

4K高清图像，超过每秒24帧的高速摄影......这些实现人类极致观看体验的最新技术，若是应用到直播领域，会有怎样的效果呢？

近日，虎牙直播宣布，推出“4K+60帧+20M”超分超高清三件套，成为S9全球独家4K直播平台。据悉，虎牙技术团队借助超分技术，实现了S9赛事视频由1080P到4K的提高，同时画面额外延时仅仅增长100毫秒。游戏玩家和业内人士广泛认为，虎牙引领的这一次技术飞跃，无疑将开启游戏直播的一场“革命”。

“感受看直播就跟真正进入玩游戏的画质同样”

据介绍，虎牙依托强大的AI 超分辨处理能力和视频编码优化, 将S9赛事视频由自己的1080P分辨率著提高到4K分辨率;同时经过高可靠、低延时的全球化分发网络，将20M 的超高码率码流传输给用户，完成了从1080P到4K分辨率、60帧、20M实时视频转码直播。

虎牙音视频网络技术部算法负责人表示，推出此项技术，是由于发现目前用户能够获取的4K视频源是很不足的，在直播行业更是如此。而对于S9这种顶级赛事来讲，若是可以提供超高清画质，无疑是知足了用户最迫切的需求。

针对这一痛点，虎牙直播利用超分技术，将S9赛事视频的分辨率由1080P提高到4K，显著提高画质。画质的提高也获得了用户的确定，有用户在虎牙4K直播间弹幕表示，“用手机2K屏幕观看S9的4K直播频道的时候甚至会有种‘错觉’，感受看直播就跟真正进入玩游戏的画质同样。“

据了解，主流超分辨率技术能够分为传统重建技术和神经网络技术。此前流行的传统重建技术用滤波的方式从新恢复图像信息，但由于高频信号在最初图像采集中丢失，重建后的高分辨率图像会出现不天然的光滑纹理，影像画质体验。而2016年以来兴起的基于学习的神经网络技术，是让机器模拟大脑的神经元网络，学习不一样分辨率的图像的像素映射关系，利用多层卷积网络算法，将低分辨率图像重建为高分辨率图像。

而虎牙创造性地利用最新的AI深度学习模式，经过海量对比运算，不断调试和纠正重建画面时的误差问题，并经过人工智能提升计算能力，最终使虎牙的超分辨率算法成功实现了图像高清还原和加强。不管是在细节、色彩、明暗仍是锐度方面，均可以最大限度接近人类视觉的天然感觉。

“4K超分高清画面额外延时仅增长100毫秒”

让游戏爱好者获得大片通常的直播观看体验，不能只靠理论架构的蓝图，还有有踏实的技术完善之路。

据虎牙音视频网络技术部算法负责人介绍，立项之初，他们就面临着两大挑战：一个是技术层面的，即如何优化AI超分模型以及计算推理能力，使其不只实现画质的大幅提升，而且运行速率能够知足4K、60FPS的实时处理;另外一个就是架构层面的，即虎牙音视频分发体系如何快速应对这种传输链路的更改以及处理节点调度，保证其直播内容依然是低延时、稳定流畅地呈现到全球观众面前。

众所周知，实时处理是直播业务的准入门槛之一。而虎牙通过多年来技术积累，在实时处理上已经积累了丰富的成果。这次的4K超分辨率处理，也须要每秒完成60帧的高分辨率图像重建同时进行视频编码。而这个过程，是在虎牙的GPU转码集群内处理，视频数据再经由已有的虎牙传输分发平台，分发到世界各地。

延时处理也是虎牙本次的重大突破。采用流媒体方式播放的网络视频都须要通过编码——压缩——解码这一过程，让视频能以较小的数据量在网络中传输，从而在有限的带宽中保持传输效率，确保终端能够流畅、稳定地接收和播出。这一过程当中存在的延时问题，是影响观看体验的重要因素。

“为解决延时问题，咱们从算法到整体通信架构都作了大量的技术工做。咱们知道，端到端延时的优化实际上是一个全链路的优化的集合，所以咱们在模型调优、异构计算和硬件升级上都作了全方位的优化处理。在咱们技术团队的努力下，4K超分高清画面带来的额外节点延时仅增长了100ms。”虎牙音视频网络技术部算法负责人介绍。

“项目从立项到上线历时不到1个月时间”

尽管有重重技术障碍，但虎牙4K项目从提出概念、立项，到平台上线服务用户，先后只用了不到一个月的时间。这不只是由于虎牙拥有强大的研发团队，也得益于虎牙在前沿技术领域的长期跟进和积累。

客观而言，直播画质是个综合性问题，会受原图质量，计算能力，编码参数，用户带宽等因素影响。超分技术能够提升原图质量，但也要配合其余技术综合一块儿，才能够达到最优效果。如本次的4K高清，除使用AI进行视频图像处理外，虎牙还应用了大型音视频直播分发系统，对视频实时加工的处理支撑技术等。

从AI智能弹幕，到本次推出的4K超分超高清S9视频，虎牙在AI技术领域不断突破。近期，在韩国举办的2019年国际计算机视觉大会(简称ICCV)上，虎牙此前提交的两篇论文成功入围，并在大会上展出了虎牙的基础技术，引发现场专家同行的承认和好评。

而虎牙本次经过超分技术实现赛事视频的画质提高，其意义毫不会只停留在赛事转播上。据专家预测，到2021年，多媒体视频图像流量将占据整个互联网流量的80%。如此庞大的视频传播和观看需求，必然带来相关技术的井喷式发展，也极可能成为下一个互联网技术“风口”。

更重要的是，随着5G和物联网逐渐从设想走向现实，虎牙直播的超分技术及实时视频转码技术，与物联网的高准确率、低延时要求正好相符。随着该技术的进一步优化，将来在游戏直播、户外直播，甚至其余生活领域，将产生更多的应用场景。