Android多媒体框架总结(1) - 利用MediaMuxer合成音视频数据流程分析

场景介绍:

　　设备端经过服务器传向客户端(Android手机)实时发送视频数据(H.264)和音频数据(g711a或g711u), 须要在客户端将音视频数据保存为MP4文件存放在本地,用户能够经过APP或者直接在手机上观看MP4文件.

解决方案:

　　经过Android MultiMedia Framework提供的MediaMuxer类对音视频数据进行同步合成.

流程图:

流程分析:

　　1.总体来看, 合成的MP4文件, 视频部分为H.264编码格式的数据, 音频部分为AAC编码格式的数据, 所以, 视频数据能够不作任何处理, 直接封装到MP4文件中, 而音频数据须要先将g711格式的数据转为AAC格式的数据, 再封装到MP4文件中.

　　2.对于音频部分, 须要先解码为PCM原始音频数据(有不少第三方的解码库能够用), 再将解码后的PCM数据编码为AAC格式的数据.

　　3.经过MediaMuxer提供的接口-writeSampleData(), 将H.264和AAC数据分别同时写入到MP4文件.