5步告诉你QQ音乐的完美音质是怎么来的，播放器的秘密都在这里

欢迎你们前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~

本文由QQ音乐技术团队发表于云+社区专栏

1、问题背景与分析

不久前，团队发现其Android平台App在播放MV视频《凤凰花开的路口》时，会带有如电流声通常的杂音，这影响了用户体验。 研发同窗在初步定位时，发现有以下特征：

• Android平台杂音问题必现；
• iOS、PC平台能正常播放，没有噪音。

然而，各平台都是统一用HLS格式播放，即源头都是同样的。对于该问题，咱们的定位思路以下：

1. 梳理视频播放流程；
2. 找到切入点排查。

2、播放流程概览

分析播放流程如上图（图中内容从左往右），归纳其关键步骤以下：

1. 播放器初始化：
   • 建立读数据线程：read_thread；
   • 建立存放audio解码前数据的队列：audioq；
   • 建立存放audio解码后数据的队列：sampq。
2. 数据读取：
   • ①建立context；
   • ②探测协议类型：avformat_open_input；
   • ③探测媒体类型：avformat_find_stream_info；
   • ④获取音视频流：av_find_best_stream；
   • ⑤打开媒体解码器：stream_component_open；
   • ⑥读取媒体数据，得到AVPacket：av_read_frame(ic, pkt)；
   • ⑦音视频数据分别送入audioq中；
   • 重复⑥、⑦步骤到数据完毕。
3. 音频解码：
   • 在audio_thread中对audioq中的数据进行decoder_decode_frame解码；
   • 解码后的帧AVFrame存放到sampq中；
4. 音频播放：
   • aout_thread_n中，经过调用回调接口sdl_audio_callback，对sampq中的音频帧数据进行解码成PCM数据；
   • 写入PCM数据到buffer数组，并由AudioTrack播放。

3、问题分解与切入

在梳理出播放流程后，标记出找到有可能出错的环节，方便进行“分层定位”（图中黄色标记）

• 播放下载文件是否有问题；
• 数据读取是否有问题；
• 音频解码逻辑是否有问题；
• AudioTrack的设置是否有问题；

接下来，根据难易程度，对上述环节逐个验证。

一、播放下载文件是否正常

把Android平台播放的ts文件与各平台的进行比对，发现二者同样，该环节正常。

二、AudioTrack设置是否正常

经过日志检查AudioTrack如下配置参数：

• 采样率
• 位深
• 频道

以上参数设置的值与音频流的相符合，该环节正常。

三、音频解码逻辑是否有问题

验证解码逻辑是否有问题，能够经过对PCM数据进行分析来确认。 对aout_thread_n进行修改，将PCM数据额外输出到本地，并与正常的PCM数据进行对比。

正常PCM数据频谱图：

异常PCM数据频谱图：

正常PCM数据波形图：

异常PCM数据波形图：

对比分析可得出：

• 从频谱图中看出，异常的PCM在人耳十分敏感的频响（1000～8000Hz ）区域内的音频数据严重缺失，致使“杂音问题”
• 从波形图中看出，异常的与正常的无声区和有声区都吻合，若解封装、解码逻辑出现异常，极大概率是呈现无波动（一条直线的形式）状况。所以能够先大胆假设解码、解封装逻辑是符合预期的

若解码逻辑正常，再结合以前已经验证文件下载正常。能够推测是数据读取环节出现异常。

四、数据读取是否有问题

经过对数据读取的各步骤增长日志后，发如今av_find_best_stream音频流选择时出现异常： ffmpeg -i 发现，该视频ts分片有2个音频流

经过强制分别读取两条音频流数据播放，发现：

• 第一条正常播放（PCM数据正常）
• 第二条播放杂音（PCM数据异常）
• Android平台选择了第二条进行播放

基于此，也就验证了在第3步中的假设是正确的。

由上分析，能够得出结论：Android平台选择了第二条数据有问题的流进行播放。

4、问题根源：音频流选择

一、选择方式

分析代码，大体以下所列，av_find_best_stream函数选择音频流，该函数会根据2个主要参数进行选择：

1. 各音频流的在探测媒体类型（avformat_find_stream_info）时，额外解码出来的帧数（选择多的）
2. 各音频流的比特率（选择高的）

int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type,
                        int wanted_stream_nb, int related_stream,
                        AVCodec **decoder_ret, int flags)
{
    for (i = 0; i < nb_streams; i++) {
        count = st->codec_info_nb_frames; //音频流探测中解码的帧数
        bitrate = avctx->bit_rate;//音频流的比特率
        multiframe = FFMIN(5, count);
        //先比较解码帧数，再比较音频流比特率，谁大谁选
        if ((best_multiframe >  multiframe) ||
            (best_multiframe == multiframe && best_bitrate >  bitrate) ||
            (best_multiframe == multiframe && best_bitrate == bitrate && best_count >= count))
            continue;
        best_count   = count;
        best_bitrate = bitrate;
        best_multiframe = multiframe;
        ret          = real_stream_index;//最后选择的流index
        best_decoder = decoder;
    }   
    return ret;
}
复制代码

在该视频中，咱们能够看到：

	codec_info_nb_frames	bit_rate
audio_stream 1	38	122625
audio_stream 2	39	126375

第二条流的解码帧数和比特率要比第一条高，所以选择了第二条流播放

二、对比同类方案

分析了以上选择规则后，咱们对各平台、框架进行了选择规则的对比：

备注：

• ExoPlayer对多音频流的ts分片支持不完善（issue），所以测试时须要调整相关接口。但选择规则依然以上述所示（DefaultTrackSelector）
• iOS和PC平台采用闭源组件，所以测试时使用了**“互换两条音频流顺序”**的方法进行测试。互换后，两平台都播放了杂音音频流 ffmpeg -i INPUT_FILE -map 0:0 -map 0:2 -map 0:1 -c copy -y OUTPUT_FILE
• QuickTime一样是闭源，互换音频流后没法明显差异，经过合成第三条音频流，来验证是它是对全部音频流全播放 ffmpeg -i INPUT_FILE_1 -i INPUT_FILE_2 -map 0:0 -map 0:1 -map 0:2 -map 1:0 -c copy OUTPUT_FILE

三、总结

从以上数据看到，iOS和PC平台会默认选择第一条流，而在Android平台的FFmpeg和ExoPlayer会根据音频流属性来选择数值更好的一条。

• “默认选择第一条”方案能更容易地把音源问题暴露。
• “比较音频流属性”方案能更大概率地选择质量更好的流来提高用户体验。

但以上2个选择方案都没法识别“内容异常”的音频流。

5、问题解决方案

所以，处理该问题，须要从音源上进行修复和规避，咱们的建议是从源头杜绝，从终端规避：

1. 编辑从新上架正常音源；
2. 短时间内增长双音频流的检测上报，帮助后台、编辑进行复查；
3. 长远看由后台开发工具，分别对存量视频进行双音频流检测和对增量视频保证只转码单音频流；

参考资料

• ffmpeg.org/doxygen/2.8…
• github.com/google/ExoP…
• www.jianshu.com/p/daf0a61cc…
• www.jianshu.com/p/a6a4bf59c…
• km.oa.com/articles/sh…
• codeday.me/bug/2017071…

相关阅读

wamp2.0配置Zend Optimizer

藏匿在邮件里的“坏小子”

打造一个我的阅读追踪系统

【每日课程推荐】机器学习实战！快速入门在线广告业务及CTR相应知识

此文已由做者受权腾讯云+社区发布，更多原文请点击

搜索关注公众号「云加社区」，第一时间获取技术干货，关注后回复1024 送你一份技术课程大礼包！

海量技术实践经验，尽在云加社区！