【基于libRTMP的流媒体直播之 AAC、H264 解析】

        前文咱们说到如何在基于 libRTMP 库的流媒体直播过程当中推送 AAC 、H264 音视频流。本文以上文为基础，阐释如何对 RTMP 包进行解析、重组获得原始的 AAC 音频帧以及 H264 码流。

        在继续阅读本文以前，咱们首先假设读者已经可以使用 libRTMP 库从 RTMP 直播服务器不断地获取 RTMP 包，如前提不成立，请自行阅读 [抛开flash，本身开发实现C++ RTMP直播流播放器] 一文，实现一个简单的 RtmpDownloader 测试用例。这一部分恕 Bill 再也不赘述。

        废话颇多，下面让咱们一块儿来看看如何对 RTMP 包进行解析和重组。

        根据前文所述，咱们在推送音、视频包以前，会首先向服务器推送一个音、视频同步包，该包包含了 AAC 音频帧以及 H264 码流的解码信息。所以当咱们首次向服务器请求 RTMP 包以后，服务器会下发给咱们对应的音、视频同步包，这将决定咱们如何解析并重组音、视频。

RTMP 音频包的解析及 AAC 重组                 

        当咱们获得服务器下发的第一个音频包（音频同步包）以后，便可按照前文所述的封包顺序进行逆操做，解析获得咱们所须要的 AAC 音频信息，根据这些信息，咱们即可重组在推送时被咱们去掉的那 7 个（或 9 个）字节：ADTS（Audio Data Transport Stream），请参见维基百科 [ADTS]。一旦 ADTS 构造完毕，直接在其后添加原始 AAC 音频数据即完成了整个 AAC 音频帧的重组。

        根据 ADTS 属性的描述，咱们不难抽象出一个反映该信息的结构体以下：

        接着让咱们回顾一下前文提到的音频同步包的结构：

        咱们只须要从服务器得到的音频同步包中获取 AACDecoderSpecificInfo 以及 AudioSpecificConfig 这 4 个字节，并将其中的内容解析到 RtmpLiveAudioMetadataTy 这个结构中以备使用。示例代码以下：

        在得到了 AAC 音频所必要的信息以后，咱们即可构造 ADTS 并重组 RTMP 服务器下发来的后续音频包。构造 ADTS 示例代码以下：

        至此，ADTS 7个字节便重构完毕，咱们只须要在这 7 个字节后面添加上 AAC 的原始数据即可重组一个 AAC 音频帧。针对以后的每个 RTMP 音频包，都进行上述步骤，不断将重组后的 AAC 音频帧写入文件，使用支持的播放器播放以验证解析正确与否。

RTMP 视频包的解析及 H.264 重组               

        与重组音频帧相似的，咱们首先会从服务器得到视频同步包，首先对视频同步包进行拆包解析，获得本次 H264 码流的 Sps 以及 Pps，并从 Sps 中获取视频的宽高信息以备使用。根据前文提到的视频同步包封包流程，咱们进行逆向解析的示例以下：

        其中从 Sps 获取视频的宽高信息请读者自行 Google，Bill 再也不赘述。解析完视频同步包，咱们只须要对接下来的视频包进行分类便可，针对 H264 P 帧，咱们直接将原始数据写入文件，针对 I 帧，咱们在其前面添加保存好的 Sps 以及 Pps，而后写入原始数据便可。针对以后从 RTMP 服务器接收的每个视频包，均进行上述重组操做，并将得到的 H264 编码写入文件，使用 Elecard StreamEye Tools 播放便可。

参考博文

[1][抛开flash，本身开发实现C++ RTMP直播流播放器]

[2][使用 libRtmp 进行 H264 与 AAC 直播]

[3][RTMP直播到FMS中的AAC音频直播]