2、FFmpeg的模块结构

[TOC]

开始前的BB

我发现 不少都是上来直接撸，撸完了发现其实仍是什么都不会，本身知道ffmpeg有什么自带的东西能够参考的也不了解，那还搞个🔨，，脑海中没有大致的认知，很容易就迷失在细节里没法自拔，只知其术不知其道理，紧接着下一个阶段就是找大佬萌新三连

不要慌

这篇文章主要就是给你们一个大致的认知，来认识FFmpeg这个框架，由表及里，由浅入深，解开她神秘的面纱

FFmpeg框架的结构

祖传ffmpeg结构图镇楼

其中 ffplay ffmpeg ffprobe 这三个是ffmpeg里面的能编译为可执行文件的三个功能很强大的东西,这个在咱们上面下载的动态库/静态库文件里的

• ffplay: ffplay是一个很是经典的播放器实现，对于作播放器的朋友，写播放器的时候必定要要去参考，像ijkplayer 就是基于ffplay，同步等地方改动的不多，大部分改动都在显示的部分，主要是实现了解码后的yuv数据上传到opengles，以及封装音频播放的接口（AudioTrack）等。

• ffmpeg: ffmpeg这个工具里面包含了不少功能，像轨道提取，视频裁剪，转码、水印、滤镜等功能

• ffprobe: ffprobe是一个查看视频格式信息的工具，包括封装信息、视频信息、音频信息等

以上三个工具咱们下章讲他一些经常使用的命令。

底层支撑库简介

除了这三个工具类外，底层的组成部分有如下几个：

avutil

avutil 核心的工具库;其余的模块都会依赖这个库，定义了一些经常使用的枚举，工具类(加解密、时间、日志，FIFO队列、内存分配、大小端转换等)

avformat

avformat 协议与格式库; 这个模块封装了Protocol、Demuxer、Muxer层，是ffmpeg最重要的模块之一,至关于Android中的 MediaExtracotor

avcodec

avcodec 编解码库;封装了Codec,该模块内置不少解码器，在本身的注册列表中，一些有本身的License的第三方Codec,好比X264.fdk-aac等均可以经过插件的方式添加进来

avfilter

avfilter 音视频滤镜库;提供了不少音频与视频特效处理，能够在编解码过程当中直接调用该模块为音视频数据作特效处理，这个处理是利用CPU进行处理的，音频的处理通常都是比较快，影响不是特别的大 视频的处理的，，效率是没有利用OpenGL经过GPU进行处理快

avdevice

avdevice 输入输出设备库; 好比，须要编译出播放声音或者视频的ffplay,就须要确保此模块是打开状态,同时也须要SDL库的预编译，这个设备模块的播放声音与播放视频使用的都是SDL库,也包含了其余的输入/输出设备

swresample

swresample 音频冲采样模块;能够对数字音频进行声道数、采样率、位宽等多种基本信息的转换,好比将SimpleForamt为AV_SAMPLE_FMT_FLTP转换为AV_SAMPLE_FMT_S16P格式的

swscale

swscale 图像数据格式转换模块; 好比能够将YUV数据转换为RGB数据，尺寸从1920 * 1080 缩放为 800 * 480

postproc

postproc avfilter的处理会依赖该模块的一些函数

经常使用数据结构

• AVFormatContext 封装格式上下文结构体，保存了视频文件封装格式相关信息
• AVInputFormat demuxer结构体，每一种封装格式对应一个该结构体(FLV MKV MP4 AVI) AVOutpuFormat 对应muxer
• AVStream 媒体文件中每一个视频/音频流对应一个该结构体
• AVCodecContext 编解码器上下文结构，保存了饮品是编解码相关的信息
• AVCodec每一个视频/音频编解码器对应一个结构体
• AVPacket 储存街凤凰后的一帧压缩编码数据
• AVFrame 储存一阵解码后的像素/采样数据

经常使用核心函数

主要讲 avformat和avcodc两个库的比较重要的函数

avformat

• avformat_network_init() 注册网络，初始化网络库以及网络加密协议相关的库 (openssl)
• avformat_alloc_context() 负责申请一个AvFormatContext结构的内存，并进行简单的初始化
• avforamt_free_context() 释放该结构体里的全部东西，以及他自己 ，一般与avformat_alloc_context()成对出现
• avformat_close_input() 关闭解复用器，关闭后就不须要调用avforamt_free_context()进行释放,由于他内部会调用avformat_free_context()方法进行释放
• avformat_open_input() 打开输入文件
• avformat_find_stream_info()获取视频文件信息
• av_read_frame() 读取音视频包AVPacket
• avformat_seek_file() 经过文件字节进行Seek
• av_seek_frame() 能够经过相应的格式选择Seek到关键帧仍是指定帧以及字节

解复用的调用流程以下

1. 分配一个AVFormatContext的上下文
2. 打开视频文件
3. 寻找到对应的流信息
4. 循环读取流/或者在中间seek到指定的位置
5. 结束读取，关闭流，释放空间

更详细的代码会在后面的章节中有示例代码

avcodec

• avcodec_alloc_context3() 分配解码器的上下文
• avcodec_find_decoder() 根据Id查找解码器
• avcodec_find_decoder_by_name() 根据解码器名字查找解码器
• avcodec_open2() 打开编解码器
• avcodec_send_packet() 发送解封装后的数据包
• avcodec_recive_frame() 接受解码后的数据
• avcodec_free_context() 释放解码器上下文
• avcodec_close()关闭解码器

解码器的调用流程以下

1. 分配一个AVCodecContext
2. 将AVStream里的Codec的参数传递到AVCodecContext
3. 根据Id或者名字寻找的相应的解码器
4. 打开解码器
5. 发送AVPacket(解封装的数据) ---> 接受到解码后的数据(YUV/PCM)
6. 关闭解码器，释放AVCodecContext

关于FFmpeg的核心的结构体与函数，以及相应的解复用/解码的流程先了解这么多，有个大概的印象，咱们在后面的文章里，就会慢慢体会到他们带来的无穷快感

一袋米要抗几楼 (痛みを感じるようにしましょう) 的佩恩警告⚠️ (づ｡◕‿‿◕｡)づ

未完持续。。。