无参考评估在云信的视频测试实践

导读：在实时音视频领域，如何实现视频的全自动化评估是一个业界共同的难题。无参考（NR）技术不须要关于参考视频的任何信息，无疑是视频全自动化评估的曙光。本篇文章将介绍云信测试组最近在使用的一种视频无参考评估方法，及其自动化应用方案。

文｜网易云信资深测试工程师

背景介绍

视频质量评估的目的是准确衡量出人眼对于视频内容的感知。

源视频在通过采集编码传输解码等模块传输到人眼以后，会不可避免的引入一些压缩失真，严重的时候甚至会有绿屏、花瓶、马赛克等问题。

在业界评估视频质量有两种经常使用方法：视频质量主观评估和视频质量客观评估。

常见的主观实验流程通常以下：

1. 选取有表明性的源视频

2. 添加待衡量的视频处理方案

3. 按照ITU标准设计主观实验

4. 招募志愿者观看视频并打分

5. 收集主观打分并剔除无效数据

6. 数据建模并得出实验结论。

视频质量客观评估经过一些评估标准来量化视频质量，主要分为三种，全参考（FR）、部分参考（RR）、无参考（NR）。

全参考评估比较处理先后的两段视频每一个像素的差异。部分参考评估提取两段视频的一些特性，并依此给予它们评分。

全参考评估和部分参考评估均为有参评估，常见的评估算法有PSNR, SSIM VIF VMAF PEVQ等，须要输入视频和输出视频才能得出评估结果，适用于离线测试。

无参考评估是在没有任何原视频的参考下进行评估，比较适合线上视频评估、视频加强和视频合并等场景。

显然主观评估是一个周期长，费时费力的过程。经过主观打分来验证全部视频质量是不可行的。

客观评估经过一些与主观质量评估结果相近的数学模型来量化人眼对于视频内容的感知，能够提高一些评估的效率。

在网易云信的视频类效果评估测试中，包括对编码器优化（H26四、X264效果优化）、编码器升级（H264升级到H265，H264升级到VP8）、Qos优化等的测试以主观评估为主，客观评估为辅。

在客观评估的方式中，全参考的评估方式好比PSNR、SSIM、VMA等主要用于编码器的优化和升级测试中。固然除了全参考的评估方式，网易云信测试团队也在尝试应用无参考评估到音视频相关的测试中。

下面将介绍网易云信最近在使用的一种视频无参考评估方法。

Video Quality Indicators简单介绍

Video Quality Indicators 是一款开源的音视频无参考评估方案，提供了视频的卡顿、噪声、横纹、画面缺失、曝光度等无参考分析。

在intel开源的QosTestFramework中使用了Video Quality Indicators为其无参考评估的一个方法。

Video Quality Indicators（http://vq.kt.agh.edu.pl//metr...），支持windows、mac、linux。经过分析yuv文件，来评估视频文件质量。

官网提供了多种调用方案，Bash、Python、Matlab等。支持对卡顿、画面缺失、块效应、横纹、躁点、画面闪烁等进行分析。 

主要支持分析的字段信息以下：

其余字段展现详见：http://vq.kt.agh.edu.pl//metr...

下面经过一段视频来展现下 Video Quality Indicators 的分析效果（截取自官网）：
点击观看视频

QosService框架设计

Video Quality Indicators提供15种视频相关指标的分析结果，并且Video Quality Indicators分析的是图像，即给出的是帧与帧之间的对比结果，因此一段5分钟的视频，在平均帧率25帧的状况下，Video Quality Indicators会提供7500个数据点。

原数据类型多且数据量大，为了方便分析，下降工具使用门槛，提高工具利用率，对Video Quality Indicators提供的无参考分析功能进行了服务化。

在服务化过程当中，使用了tornado为服务框架，在QosTestFramework的基础上，将分析结果持久化到数据库中，最后使用前端进行分析结果的展现。

总体实现架构以下所示：

用户经过输入UID、CID来触发视频文件的分析和分析结果显示。

• DL VIDEO：与录制服务器交互下载录制文件到本地
• Ffmpeg：转码对应的文件到yuv格式（Video Quality Indicators仅支持分析yuv格式）
• VQ：Video Quality Indicators对对应的yuv文件进行分析而且将数据持久化到数据库中

前端最终呈现：

无参考分析实例：

点击观看视频

能够看到视频运动的小牛附近画面模糊而且存在部分噪点，使用QosService分析的结果以下：

Blur表示了画面的清晰度，blur数值大于5，说明画面比较模糊，数值越大表明画面越模糊。如图软件的分析结果表示清晰度异常，与实际状况相符。

Noise表示画面中存在的噪点，数值越大，代表噪点越多，画面质量越差。Noise大于30，即认为画面的噪点过大。如图软件的分析结果表示噪点异常，与实际状况相符。

Blockloss：表示画面中存在的画面缺失，这个视频画面完整度较好，测算出的值与实际状况保持一致。

Contrast：表示画面的对比度，这个视频中图像的对比度在肉眼可接受的范围内，测算出的值与实际状况保持一致。

Freezing：表示画面的卡顿状况，这个视频中未出现卡顿，测算出的值与实际状况保持一致。

总结和展望

在实时音视频领域，如何实现视频的全自动化评估是一个业界共同的难题。无参考（NR）技术不须要关于参考视频的任何信息，无疑是视频全自动化评估的曙光。引用下鲁迅先生的名言：其实地上本没有路，走的人多了，也便成了路。

致敬下为视频全自动化评估作出努力的业界同胞们。

*各渠道文章转载需注明来源及做者