FFmpeg数据结构：AVPacket解析

本文主要从如下几个方面对AVPacket作解析：

• AVPacket在FFmpeg中的做用
• 字段说明
• AVPacket中的内存管理
• AVPacket相关函数的说明
• 结合AVPacket队列说明下AVPacket在传递过程当中数据缓存的管理

查了一些资料，发现FFmpeg的版本更新仍是挺快，并且有不少API也有改动，本文使用的FFmpeg的最新版本3.1。

AVPacket简介

AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用以后，解码以前的数据（仍然是压缩后的数据）和关于这些数据的一些附加信息，如显示时间戳（pts）、解码时间戳（dts）、数据时长，所在媒体流的索引等。

对于视频（Video）来讲，AVPacket一般包含一个压缩的Frame，而音频（Audio）则有可能包含多个压缩的Frame。而且，一个Packet有多是空的，不包含任何压缩数据，只含有side data（side data，容器提供的关于Packet的一些附加信息。例如，在编码结束的时候更新一些流的参数）。

AVPacket的大小是公共的ABI（public ABI）一部分，这样的结构体在FFmpeg不多，由此也可见AVPacket的重要性。它能够被分配在栈空间上（可使用语句AVPacket packet; 在栈空间定义一个Packet ），而且除非libavcodec 和 libavformat有很大的改动，否则不会在AVPacket中添加新的字段。

官方文档：AVPacket is one of the few structs in FFmpeg,whose size is a part of public ABI.Thus it may be allocated on stack and no new fields can be added to it without libavcodec and libavformat major bump.

AVPacket 字段说明

AVPacket的声明在avcodec.h中，其声明以下：

typedef struct AVPacket {
    /**
     * A reference to the reference-counted buffer where the packet data is
     * stored.
     * May be NULL, then the packet data is not reference-counted.
     */
    AVBufferRef *buf;
    /**
     * Presentation timestamp in AVStream->time_base units; the time at which
     * the decompressed packet will be presented to the user.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     * pts MUST be larger or equal to dts as presentation cannot happen before
     * decompression, unless one wants to view hex dumps. Some formats misuse
     * the terms dts and pts/cts to mean something different. Such timestamps
     * must be converted to true pts/dts before they are stored in AVPacket.
     */
    int64_t pts;
    /**
     * Decompression timestamp in AVStream->time_base units; the time at which
     * the packet is decompressed.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     */
    int64_t dts;
    uint8_t *data;
    int   size;
    int   stream_index;
    /**
     * A combination of AV_PKT_FLAG values
     */
    int   flags;
    /**
     * Additional packet data that can be provided by the container.
     * Packet can contain several types of side information.
     */
    AVPacketSideData *side_data;
    int side_data_elems;
    /**
     * Duration of this packet in AVStream->time_base units, 0 if unknown.
     * Equals next_pts - this_pts in presentation order.
     */
    int64_t duration;
    int64_t pos;                            ///< byte position in stream, -1 if unknown
#if FF_API_CONVERGENCE_DURATION
    /**
     * @deprecated Same as the duration field, but as int64_t. This was required
     * for Matroska subtitles, whose duration values could overflow when the
     * duration field was still an int.
     */
    attribute_deprecated
    int64_t convergence_duration;
#endif
} AVPacket;

AVPacket中的字段可用分为两部分：数据的缓存及管理，关于数据的属性说明。

• 关于数据的属性有如下字段：
  • pts 显示时间戳
  • dts 解码时间戳
  • stream_index Packet所在stream的index
  • flats 标志，其中最低为1表示该数据是一个关键帧
  • duration 数据的时长，以所属媒体流的时间基准为单位
  • pos 数据在媒体流中的位置，未知则值为-1
  • convergence_duration 该字段已被deprecated，再也不使用
• 数据缓存，AVPacket自己只是个容器，不直接的包含数据，而是经过数据缓存的指针引用数据。AVPacket中包含有两种数据
  • data 指向保存压缩数据的指针，这就是AVPacket实际的数据。
  • side_data 容器提供的一些附加数据
  • buf 是AVBufferRef类型的指针，用来管理data指针引用的数据缓存的，其使用在后面介绍。

AVPacket中的内存管理

AVPacket实际上可用看做一个容器，它自己并不包含压缩的媒体数据，而是经过data指针引用数据的缓存空间。因此将一个Packet做为参数传递的时候，妖就要根据具体的须要，对data引用的这部分数据缓存空间进行特殊的处理。当从一个Packet去建立另外一个Packet的时候，有两种状况：

• 两个Packet的data引用的是同一数据缓存空间，这时候要注意数据缓存空间的释放问题
• 两个Packet的data引用不一样的数据缓存空间，每一个Packet都有数据缓存空间的copy。

第二种状况，数据空间的管理比较简单，可是数据实际上有多个copy形成内存空间的浪费。因此要根据具体的须要，来选择究竟是两个Packet共享一个数据缓存空间，仍是每一个Packet拥有本身独自的缓存空间。
对于多个Packet共享同一个缓存空间，FFmpeg使用的引用计数的机制（reference-count）。当有新的Packet引用共享的缓存空间时，就将引用计数+1；当释放了引用共享空间的Packet，就将引用计数-1；引用计数为0时，就释放掉引用的缓存空间。
AVPacket中的AVBufferRef *buf;就是用来管理这个引用计数的，AVBufferRef的声明以下：

typedef struct AVBufferRef {
    AVBuffer *buffer;
    /**
     * The data buffer. It is considered writable if and only if
     * this is the only reference to the buffer, in which case
     * av_buffer_is_writable() returns 1.
     */
    uint8_t *data;
    /**
     * Size of data in bytes.
     */
    int      size;
} AVBufferRef;

在AVPacket中使用AVBufferRef有两个函数：av_packet_ref和av_packet_unref。

• av_packet_ref

int av_packet_ref(AVPacket *dst, const AVPacket *src)

建立一个src->data的新的引用计数。若是src已经设置了引用计数发（src->buffer不为空），则直接将其引用计数+1；若是src没有设置引用计数（src->buffer为空），则为dst建立一个新的引用计数buf，并复制src->data到buf->buffer中。最后，复制src的其余字段到dst中。

• av_packet_unref

void av_packet_unref(AVPacket *pkt)

将缓存空间的引用计数-1，并将Packet中的其余字段设为初始值。若是引用计数为0，自动的释放缓存空间。
因此，有两个Packet共享同一个数据缓存空间的时候可用这么作

av_read_frame(pFormatCtx, &packet)  // 读取Packet
av_packet_ref(&dst,&packet) // dst packet共享同一个数据缓存空间
...
av_packet_unref(&dst);

下一小节简单的介绍下AVPacket相关的函数，并介绍如何在传递Packet的时候，复制一个独立的数据缓存空间的copy，每一个Packet都拥有本身独立的数据缓存空间。

AVPacket 相关函数介绍

操做AVPacket的函数大约有30个，主要能够分为：AVPacket的建立初始化、AVPacket中的data数据管理（clone，free，copy等）、AVPacket中的side_data数据管理。
AVPacket的建立有不少种，而因为Packet中的数据是经过data引用的，从一个Packet来建立另外一个Packet有多种方法。

• av_read_frame 这个是比较常见的了，从媒体流中读取帧填充到填充到Packet的数据缓存空间。若是Packet->buf为空，则Packet的数据缓存空间会在下次调用av_read_frame的时候失效。这也就是为什么在FFmpeg3：播放音频中，从流中读取到Packet的时，在将该Packet插入队列时，要调用av_dup_avpacket从新复制一份缓存数据。（av_dup_avpacket函数已废弃，后面会介绍）
• av_packet_alloc 建立一个AVPacket，将其字段设为默认值（data为空，没有数据缓存空间）。
• av_packet_free 释放使用av_packet_alloc建立的AVPacket，若是该Packet有引用计数（packet->buf不为空），则先调用av_packet_unref(&packet)。
• av_packet_clone 其功能是 av_packet_alloc + av_packet_ref
• av_init_packet 初始化packet的值为默认值，该函数不会影响data引用的数据缓存空间和size，须要单独处理。
• av_new_packet av_init_packet的加强版，不但会初始化字段，还为data分配了存储空间。
• av_copy_packet 复制一个新的packet，包括数据缓存。
• av_packet_from_data 初始化一个引用计数的packet，并指定了其数据缓存。
• av_grow_packet和 av_shrink_packet 增大或者减少Packet->data指向的数据缓存。

就罗列这么多吧，剩下的没提到的基本都是和side_data相关的一些函数，和data的比较相似。
最后介绍下已经废弃的两个函数 av_dup_packet和av_free_packet。
av_dup_packet 是复制src->data引用的数据缓存，赋值给dst。也就是建立两个独立packet，这个功能如今可用使用函数av_packet_ref来代替。
av_free_packet 释放packet，包括其data引用的数据缓存，如今可使用av_packet_unref代替。

AVPacket队列

在FFmpeg3：播放音频中，使用了AVPacket队列来缓存从流中读取的帧数据。这就涉及到屡次的AVPacket的传递，从流中读取Packet插入队列；从队列中取出Packet进行解码；以及一些中间变量。因为Dranger教程中使用的已经废弃的API，在参照官方文档进行修改的时候就出现了内存读写的异常。下面就播放音频的教程中的AVPacket队列实现，分析下在AVPacket做为参数传递的过程当中，应该如何更好的管理其data引用的缓存空间。

• 从流中读取AVPacket插入队列

AVPacket packet;
    while (av_read_frame(pFormatCtx, &packet) >= 0)
    {
        if (packet.stream_index == audioStream)
            packet_queue_put(&audioq, &packet);
        else
            //av_free_packet(&packet);
            av_packet_unref(&packet);
    }

若是是音频流则将读到Packet调用packet_queue_put插入到队列，若是不是音频流则调用av_packet_unref释放已读取到的AVPacket数据。
下面代码是packet_queue_put中将Packet放入到一个新建的队列节点的代码片断

AVPacketList *pktl;
    //if (av_dup_packet(pkt) < 0)
        //return -1;
    pktl = (AVPacketList*)av_malloc(sizeof(AVPacketList));
    if (!pktl)
        return -1;
    if (av_packet_ref(&pktl->pkt, pkt) < 0)
        return -1;
    //pktl->pkt = *pkt;
    pktl->next = nullptr;

注意，在调用packet_queue_put时传递的是指针，也就是形参pkt和实参packet中的data引用的是同一个数据缓存。可是在循环调用av_read_frame的时候，会将packet中的data释放掉，以便于读取下一个帧数据。
因此就须要对data引用的数据缓存进行处理，保证在读取下一个帧数据的时候，其data引用的数据空间没有被释放。有两种方法，复制一份data引用的数据缓存或者给data引用的缓存空间加一个引用计数。
注释掉的部分是使用已废弃的APIav_dup_packet，该函数将pkt中data引用的数据缓存复制一份给队列节点中的AVPacket。
添加引用计数的方法则是调用av_apcket_ref将data引用的数据缓存的引用计数+1，这样其就不会被释放掉。

• 从队列中取出AVPacket

//*pkt = pktl->pkt;
            if (av_packet_ref(pkt, &pktl->pkt) < 0)
            {
                ret = 0;
                break;
            }

注释掉的代码仍然是两个packet引用了同一个缓存空间，这样在一个使用完成释放掉缓存的时候，会形成另外一个访问错误。因此扔给调用av_packet_ref将其引用计数+1，这样在释放其中一个packet的时候其引用的数据缓存就不会被释放掉，知道两个packet都被释放。