Android 音视频学习：使用 MediaExtractor 和 MediaMuxer 解析和封装 mp4 文件

这篇文章的目的主要是学习 Android 平台的 MediaExtractor 和 MediaMuxer API，知道如何解析和封装 mp4 文件。html

一个音视频文件是包含音频和视频，Android 中能够经过 MediaExtractor API 把音频或视频给单独抽取出来，经过 MediaMuxer 合成新的视频。git

MediaExtractor

MediaExtractor 的做用就是将音频和视频分离。github

主要是如下几个步骤：web

一、建立实例缓存

MediaExtractor mediaExtractor = new MediaExtractor();

二、设置数据源微信

mediaExtractor.setDataSource(path);

三、获取数据源的轨道数，切换到想要的轨道编辑器

// 轨道索引
int videoIndex = -1;
// 视频轨道格式信息
MediaFormat mediaFormat = null;
// 数据源的轨道数
int trackCount = mediaExtractor.getTrackCount();
for (int i = 0; i < trackCount; i++) {
    MediaFormat format = mediaExtractor.getTrackFormat(i);
    String mimeType = format.getString(MediaFormat.KEY_MIME);
    if (mimeType.startsWith("video/")) {
        videoIndex = i;
        mediaFormat = format;
        break;
    }
}
// 切换到想要的轨道
mediaExtractor.selectTrack(videoIndex);

四、对所需轨道数据循环读取读取每帧，进行处理ide

while (true) {
    // 将样本数据存储到字节缓存区
    int readSampleSize = mediaExtractor.readSampleData(byteBuffer, 0);
    // 若是没有可获取的样本，退出循环
    if (readSampleSize < 0) {
        mediaExtractor.unselectTrack(videoIndex);
        break;
    }
    ...
    ...
    // 读取下一帧数据
    mediaExtractor.advance();
}

五、完成后释放资源学习

mediaExtractor.release();

MediaMuxer

MediaMuxer 的做用是生成音频或视频文件；还能够把音频与视频混合成一个音视频文件。flex

主要是如下几个步骤：

一、建立实例

MediaMuxermediaMuxer = new MediaMuxer(path, format);

path: 输出文件的名称；format: 输出文件的格式，当前只支持 MP4 格式。

二、将音频轨或视频轨添加到 MediaMuxer，返回新的轨道

int trackIndex = mediaMuxer.addTrack(videoFormat);

三、开始合成

mediaMuxer.start();

四、循环将音频轨或视频轨的数据写到文件

 while (true) {
     // 将样本数据存储到字节缓存区
     int readSampleSize = mediaExtractor.readSampleData(byteBuffer, 0);
     // 若是没有可获取的样本，退出循环
     if (readSampleSize < 0) {
         mediaExtractor.unselectTrack(videoIndex);
         break;
     }
     bufferInfo.size = readSampleSize;
     bufferInfo.flags = mediaExtractor.getSampleFlags();
     bufferInfo.offset = 0;
     bufferInfo.presentationTimeUs = mediaExtractor.getSampleTime();
     mediaMuxer.writeSampleData(trackIndex, byteBuffer, bufferInfo);
     // 读取下一帧数据
     mediaExtractor.advance();
 }

五、完成后释放资源

mediaMuxer.stop();
mediaMuxer.release();

实例

从 MP4 文件中分离出视频生成无声视频文件。

/**
  * 分离视频的视频轨，输入视频 input.mp4，输出 output_video.mp4
  */
private void extractVideo() {
    MediaExtractor mediaExtractor = new MediaExtractor();
    MediaMuxer mediaMuxer = null;
    File fileDir = FileUtil.getExternalAssetsDir(this);
    try {
        // 设置视频源
        mediaExtractor.setDataSource(new File(fileDir, VIDEO_SOURCE).getAbsolutePath());
        // 轨道索引
        int videoIndex = -1;
        // 视频轨道格式信息
        MediaFormat mediaFormat = null;
        // 数据源的轨道数
        int trackCount = mediaExtractor.getTrackCount();
        for (int i = 0; i < trackCount; i++) {
            MediaFormat format = mediaExtractor.getTrackFormat(i);
            String mimeType = format.getString(MediaFormat.KEY_MIME);
            if (mimeType.startsWith("video/")) {
                videoIndex = i;
                mediaFormat = format;
                break;
            }
        }
        // 切换到想要的轨道
        mediaExtractor.selectTrack(videoIndex);
        File outFile = new File(FileUtil.getMuxerAndExtractorDir(this), OUTPUT_VIDEO);
        if (outFile.exists()) {
            outFile.delete();
        }
        mediaMuxer = new MediaMuxer(outFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
        // 将视频轨添加到 MediaMuxer，返回新的轨道
        int trackIndex = mediaMuxer.addTrack(mediaFormat);
        ByteBuffer byteBuffer = ByteBuffer.allocate(mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE));
        MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
        mediaMuxer.start();
        while (true) {
            // 将样本数据存储到字节缓存区
            int readSampleSize = mediaExtractor.readSampleData(byteBuffer, 0);
            // 若是没有可获取的样本，退出循环
            if (readSampleSize < 0) {
                mediaExtractor.unselectTrack(videoIndex);
                break;
            }
            bufferInfo.size = readSampleSize;
            bufferInfo.flags = mediaExtractor.getSampleFlags();
            bufferInfo.offset = 0;
            bufferInfo.presentationTimeUs = mediaExtractor.getSampleTime();
            mediaMuxer.writeSampleData(trackIndex, byteBuffer, bufferInfo);
            // 读取下一帧数据
            mediaExtractor.advance();
        }
        Toast.makeText(this, "分离视频完成", Toast.LENGTH_SHORT).show();
    } catch (IOException e) {
        e.printStackTrace();
    } finally {
        if (mediaMuxer != null) {
            mediaMuxer.stop();
            mediaMuxer.release();
        }
        mediaExtractor.release();
    }
}

分离音频、合成音视频的代码相似，详见 GitHub ：AndroidMultiMediaLearning^[1]

引用

一、Android 视频分离和合成(MediaMuxer和MediaExtractor)^[2]

二、Android 音视频开发(五)：使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件^[3]

参考资料

[1]

AndroidMultiMediaLearning: https://github.com/zywudev/AndroidMultiMediaLearning

[2]

Android 视频分离和合成(MediaMuxer和MediaExtractor): https://blog.csdn.net/zhi184816/article/details/52514138

[3]

Android 音视频开发(五)：使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件: https://www.cnblogs.com/renhui/p/7474096.html

本文分享自微信公众号 - 贾小昆（zywudev）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。