关于音视频测试的一点建议

做者：罗必达，腾讯音视频实验室质量平台组组长，高级工程师。早年在微软从事移动测试开发，前后参与了 Windows Live Messenger 和 Bing Mobile 两个项目的测试工做。2011 年加入腾讯，转型音视频技术研究，从事创建音视频技术测试体系的工做，并负责 QQ 音视频通话以及腾讯云互动直播 SDK 的底层音视频引擎的测试，在工做和研究中对音视频质量评估积累了丰富的经验。喜欢音乐和玩乐器，喜欢摄影，喜欢绘画，是个彻彻底底的“文艺青年”。

从事音视频相关的测试工做也有将近5年的时间了，一路看着QQ音视频的发展，从当时只有几我的的小团队，到如今连续两年公司技术突破奖金奖，回想起来确实挺激动。好吧，自恋的东西少提为妙，进入正题。

为何要写这篇文章

几年前我就想写这么一篇文章了，可是当时音视频在SNG乃至公司都是一块比较小众、相对独立的一个业务分支。随着SNG对音视频愈来愈重视，最近也有愈来愈多的团队线下找我咨询关于音视频测试的一些方法，我忽然以为，是时候把本身这几年对音视频测试相关的思考分享给你们了。固然也有自私的一面，由于音视频只是一种技术，应用很是普遍，而咱们多年投身在实时音视频通讯这其中一块分支上，不免会对整个音视频行业产生片面的认识，因此也想借此跟你们交流，让咱们团队自身能够拓展一下知识面。

音视频测试测的到底是什么

我以为这个问题很重要。不少向我咨询音视频测试方法的同窗，也许连这个问题都尚未想清楚（说得太直接，抱歉）。其实这不奇怪，说实话我也是最近才开始思考这个问题。音视频测试测的到底是什么？

我思考这个问题的缘由是，不少同窗向我咨询音视频测试方法，但我却没办法给出一个明确的答案。脑海里把这5年的经验都翻了一遍，发现都没法找到能够知足他们的答案。最后终于茅塞顿开，缘由是咱们都没想清楚要测的是什么。

上文已经提到，音视频只是一种技术，应用面太广，并不是但凡跟“音视频”这几个字眼沾上边的均可以用一套方法去解决，也就是说，没有“银弹”。

首先咱们要问本身，我所负责的音视频业务究竟要测的是什么。是“音视频自己”的质量，仍是“音视频周边”相关的东西。

这么说有点抽象，我仍是举些例子吧。

例如咱们这5年来一直负责的QQ音视频通话，学术一点来讲就是实时音视频通话，由于音视频的内容是咱们实时生成的，在传输过程当中，为了保证通话的实时性，咱们还须要对音视频的一些参数进行实时调控（例如分辨率、码率和帧率等等），以适应复杂的网络情况（注意网络情况是不断在实时变化的，以前看了不少公司内部关于网络相关的分享，大多数创建在静态分析上，这实际上是不正确的，固然业务不一样，关注点不同）。因此咱们要测试的就是“音视频的质量”。

好了，你们可能要问，还有不是测“音视频质量”的音视频测试吗？有的，我再举个例子。例如QQ空间里可能要播一个腾讯视频，这个视频已经在后台存好了，你没办法控制它的生成，也没法动态对它进行调控（即便能够调控，也是非实时调控）。在这种状况下，你测试的并非“音视频质量”，而是“播放质量”，也就是我刚刚所说的“音视频周边”相关的东西。这类测试，跟你们平时测的其余非音视频需求没有太大的不一样，惟一区别就是，可能对音视频相关知识的一些了解会对你设计测试用例带来一些帮助。

分析所测的音视频需求

刚刚说了一大堆，无非是想告诉你们，在接到音视频测试需求的时候，须要对其进行业务分析。我再重申一下刚刚的论点：

首先问本身，我所测试的是否是音视频质量

在解答了这个问题后，你能够进行业务分析了。

不一样的业务，对音视频的要求是不同的，相应的测试方法也不同。我这里简单作一些归类：

• 实时通话类业务

例如咱们所负责的QQ音视频，就是这类业务。这类业务对实时性的要求很高。想象一下，你在跟家人聊天，在讲完一句话后，要在几秒后才能听到对方的反应，这是不可接受的。这就要求咱们实时地根据网络状况，提供不一样质量的音视频。例如，在链路带宽突降的时候，咱们须要马上感知到，而且尽快下降码率，以使得通话可以顺利进行（可参考网络带宽的水池效应，这时候若是咱们还追求所谓的清晰度、流畅度，那实际上是本末倒置的）；当带宽恢复后，咱们还要尽快地把码率提上来，以便用户获得清晰流畅的画面和声音。这些调整一样须要在其余网络损伤中进行，例如丢包（还分随机丢包和连续丢包）、抖动等等。

因此实时通话类业务的测试，咱们更多地把关注点放在”流控策略“上面。

• 异步通话类业务

异步通话类业务典型的表明是PTT。因为不须要根据网络进行实时调控（有点相似于传文件），因此这类音视频业务的音视频测试相对简单，只须要关注生成的语音音质和大小的权衡关系就好了（注意我只是说音视频测试，其余例如到达率等等的测试，那已经不是音视频测试的范畴了，下面几个分类也如此）。也就是由于这样，这种业务的音视频开发工做更多地是在选择合适的CODEC以及选择哪一个码率（非实时选择）更优上。这种状况下，对用户在音质和流量的接受程度就相当重要了，固然，这种事情我我的认为应该产品经理来把握比较好（别跟我扯产品经理不须要技术知识）。

• 一对多的秀场类业务

这类业务最近很火，最典型的就是全民直播（例如映客、花椒等等，一抓一大把）。这类业务的特色是对延时要求不高，但对清晰度和流畅度要求很高。也正是由于延时要求不高的特色，才能够把码率维持在高段，来作到高分辨率和高帧率（这是实时类没法作到的）。通常来说，技术上都以RTMP来实现。

基于以上特色，这类音视频业务，重点就不是放在”音视频自己”的质量上了，而是其余体验了，好比说美颜、美白等等跟趣味相关的前处理上，还有频道进入的速度、切换速度等用户体验上。

另外必需要提一下，这类业务并不是彻底对实时性没有要求。例如教育，在通常场景下，确实是这种一对多的业务形态，可是，一旦有老师跟学生之间的交互，那么，保证必定的实时性也是必须的。因此，仍是得看具体的业务形态具体分析。

• 流媒体类业务

流媒体类业务是音视频技术的一个很重要的分支。做为常年从事通话类业务的我，或许没有太多资格来对这一块提建议。但由于这个部分是介绍不一样业务的音视频测试特色，我仍是有必要来说一下流媒体这一个分类。

流媒体类业务相对通话类业务，有一个很大的不一样，那就是用户之间基本上没有音视频层面的互动。广义上来说秀场类业务也能够归为这一类。

一样，这类业务对实时性没有要求，音视频也是存储在后台的数据。音视频测试在这类业务上更可能是关注编码或者转码的质量。这类测试因为可使用不少全参考的工具（如PEAQ、PEVQ等），相对来说会比较简单，甚至开发人员本身就能够对这一块进行测试了。

在传输层面，我不太清楚如今的流媒体业务会不会根据网络状况来动态转码（好比动态转分辨率和码率）。若是有，那这一块文章就大了。若是没有，只是静态地切换几个已生成的分辨率，那基本上也跟音视频测试没太大的关系了。

这类业务离不开下面要讲的另外一类业务。

• 播放类业务

我把QQ音乐和腾讯视频这种业务的客户端归类到播放类上（也就是说，不考虑服务器的内容生成或转码部分）。这类业务刚刚提过，测试的其实不是“音视频自己”的质量，而是播放器的质量。这类业务在传输方面，更多的是考虑缓存大小与实际体验（例如流畅性）的关系。

可是这里有一点要注意的，这类业务也并非彻底和音视频测试毫无关系，例如QQ音乐客户端有个音效相关的功能，这是后处理技术，也是须要必定的音视频测试。

。。。。。。

还有不少业务类型，就不在这里一一列举了。

也许上面的分类不必定准确，但这不重要，重要的是想但愿你们在面对音视频相关的测试需求时，认真分析一下其特色，而后有所针对地进行测试。

须要什么知识

不管你是否是“真的在测音视频”，跟音视频沾点边的需求，都须要你具有必定的音视频基础知识。

固然这些知识没有办法在一篇文章里面讲清楚，因此仅在这里列举一下，你们能够根据本身的需求去学习。

音频知识

（基础篇）

了解术语：采样率、声道、码率、噪声抑制（NS）、回声抵消（EC）、增益控制（GC）、信噪比

了解CODEC：语音类CODEC、音乐类CODEC，以及他们之间的应用范围及区别

（进阶篇）

了解采样定理、心理声学模型、傅里叶变换、频谱

视频知识

（基础篇）

了解术语：分辨率、颜色空间（RGB、YUV等）、帧率、码率

（进阶篇）

了解人眼视觉系统特性，了解视频编码原理，了解帧类型（I帧、P帧、B帧）及参考关系

网络知识

（基础篇）

了解损伤类型：丢包（连续丢包、随机丢包；固有丢包、拥塞丢包）、延时、抖动

（进阶篇）

了解丢包恢复策略（FEC、重传）及其优缺点，了解Jitter Buffer及其影响，了解实时带宽预测算法

评测知识

无参考评估、全参考评估（PESQ、POLQA、PEAQ、PSNR、SSIM、PEVQ等）、MOS

其余

了解一些摄影相关的知识（例如快门、光圈、感光度），了解一些平台音视频相关的API（采集和渲染）

Q&A

这里把一些你们之前问到，或者可能问题的一些典型问题，抛出来给你们分享一下。

Q：清晰度高指的是分辨率高吗？

A：这个估计是不少非音视频专业的同窗经常会搞混的两个概念。我这里先给出答案：分辨率确实会影响清晰度，可是二者没有绝对的关系。为何这么说呢？抛开采集因素（例如摄像头没对焦）以外，这里还涉及一个因素：码率。我先假设这里你们讲的不是无损视频，那么必然涉及到编码。若是编码码率低，就算分辨率再高，单帧质量也会因为各类块效应显得很“脏”，就更不用提清晰度了。

Q：采样率对音质有什么影响？

A：首先要了解采样定理，即采样率必须高于输入信号最高频率的2倍，这样才能无失真地恢复原始信号或完整地保留信息。也就是说，8kHz的采样率只能表示0~4kHz频率的声音信号，而48kHz可以表示0~24kHz频率的声音信号。因此，若是要表示全部人耳能听到的全部声音（频率范围20~20kHz），就必须使用40kHz以上的采样率（常见的是44.1kHz和48kHz）。固然，采样率高了，意味着数据量就大了，编码后的码率也就高了。因此选择什么采样率，跟你的应用对高频的需求有多大。例如电话这种应用，目的是用于人与人的沟通，而人类的发声范围是100~3400Hz，因此8kHz基本上就能知足。QQ音视频用的是16kHz采样率，由于用户在知足沟通之余，还须要必定的所谓的真实感。

这个采样定理也能够用在视频上，好比上面所说的分辨率，实际上就是空间采样率，分辨率越高，可以表示的空间频率越大，也就是说能够表示更加复杂的纹理，因此通常状况下清晰度也就上去了。

Q：码率能再低些吗？

A：这是我最常常被问到的问题，特别是以前在跟手Q基础侧PK音视频流量的时候。这个问题其实很差回答，由于这里涉及到质量与码率的权衡关系。在相同的CODEC状况下，码率对质量的影响最大，下降码率，意味着就损失质量，而音视频质量却又是一个很是主观的东西。你很难证实目前的质量是否能够再降。所以QQ音视频只能在移动网络这种流量敏感的网络类型中，提供比wifi及有线网络质量稍差的体验，以减小流量的消耗。可是依然会被问，还能再低些吗？这个问题没有答案。

Q：我看大家的文档里常常有提到主观测试，有更高效的方法吗？

A：首先，我要强调一点，若是你是作音视频测试，必定不能排斥主观测试，哪怕效率低下。这是由于音视频质量原本就是一个很主观的东西。我举个例子，在可用带宽极低的状况下，QQ音视频能用的码率有限，在视频中，必然涉及清晰度和流畅度的权衡。若是这时你问不一样的人，是但愿保证清晰度仍是流畅度，你确定会获得不一样的答案。ITU对主观测试有一些规范，也就是咱们常常听到的MOS评分，这是最准确的测试方法。

可是主观测试确实很影响效率，这个毋庸置疑，因此业内也有不少人在研究客观评测的方法，例如PESQ等等，目的是使得这些工具评测的结果更加符合主观。

再来举个咱们常常提到的一个悖论的例子。咱们来讲一下回声抵消的测试。目前咱们回声抵消只有主观测试的方法，为何呢？回声抵消算法的关键是区分一段语音近端信号和远端回声，而后进行消除。咱们要测试回声抵消的效果，那么就须要一个判断回声是否被消除干净的算法或工具，咦，这不就是在作回声抵消吗？若是个人算法没有开发的算法好，那我确定检查不出来是否有回声，若是算法比开发的好，那为啥开发不直接把个人算法用在回声抵消中呢？

Q：可否告诉我你的测试结果到底是pass仍是fail？

A：能，也不能。音视频质量的测试历来就不仅有0和1的结果。音视频质量每每是在给定资源状况下的一种权衡结果（参考上面讲到的清晰度与流畅度）。因此这里要明确你的目标是什么，但这个目标不必定是“正确”的。若是拿捏不许本身的产品音视频质量是否已经达到最优，经过竞品对比分析也是一种颇有效的解决方法，这也是不少产品在作性能优化时采用的手段

结语

好了，先写到这了。欢迎你们找我交流，也但愿经过这篇文章，可让你们了解到咱们这个组平时都在作些什么东西

欢迎各位打扰。