FFmpeg AVPacket详解

Posted 2022-08-06 Geek.Fan

AVPacket简介

        AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用之后，解码之前的数据（仍然是压缩后的数据）和关于这些数据的一些附加信息，如显示时间戳（pts）、解码时间戳（dts）、数据时长，所在媒体流的索引等。

        对于视频（Video）来说，AVPacket通常包含一个压缩的Frame，而音频（Audio）则有可能包含多个压缩的Frame。并且，一个Packet有可能是空的，不包含任何压缩数据，只含有side data（side data，容器提供的关于Packet的一些附加信息。例如，在编码结束的时候更新一些流的参数）。

        AVPacket的大小是公共的ABI（public ABI）一部分，这样的结构体在FFmpeg很少，由此也可见AVPacket的重要性。它可以被分配在栈空间上（可以使用语句AVPacket packet; 在栈空间定义一个Packet ），并且除非libavcodec 和 libavformat有很大的改动，不然不会在AVPacket中添加新的字段。        

AVPacket 字段说明

AVPacket的声明在avcodec.h中，其声明如下：

typedef struct AVPacket 
    /**
     * A reference to the reference-counted buffer where the packet data is
     * stored.
     * May be NULL, then the packet data is not reference-counted.
     */
    AVBufferRef *buf;
    /**
     * Presentation timestamp in AVStream->time_base units; the time at which
     * the decompressed packet will be presented to the user.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     * pts MUST be larger or equal to dts as presentation cannot happen before
     * decompression, unless one wants to view hex dumps. Some formats misuse
     * the terms dts and pts/cts to mean something different. Such timestamps
     * must be converted to true pts/dts before they are stored in AVPacket.
     */
    int64_t pts;
    /**
     * Decompression timestamp in AVStream->time_base units; the time at which
     * the packet is decompressed.
     * Can be AV_NOPTS_VALUE if it is not stored in the file.
     */
    int64_t dts;
    uint8_t *data;
    int   size;
    int   stream_index;
    /**
     * A combination of AV_PKT_FLAG values
     */
    int   flags;
    /**
     * Additional packet data that can be provided by the container.
     * Packet can contain several types of side information.
     */
    AVPacketSideData *side_data;
    int side_data_elems;
    /**
     * Duration of this packet in AVStream->time_base units, 0 if unknown.
     * Equals next_pts - this_pts in presentation order.
     */
    int64_t duration;
    int64_t pos;                            ///< byte position in stream, -1 if unknown
#if FF_API_CONVERGENCE_DURATION
    /**
     * @deprecated Same as the duration field, but as int64_t. This was required
     * for Matroska subtitles, whose duration values could overflow when the
     * duration field was still an int.
     */
    attribute_deprecated
    int64_t convergence_duration;
#endif
 AVPacket;  

AVPacket中的字段可用分为两部分：数据的缓存及管理，关于数据的属性说明。

关于数据的属性有以下字段：

pts 显示时间戳

dts 解码时间戳

stream_index Packet所在stream的index

flats 标志，其中最低为1表示该数据是一个关键帧

duration 数据的时长，以所属媒体流的时间基准为单位

pos 数据在媒体流中的位置，未知则值为-1

convergence_duration 该字段已被deprecated，不再使用

        数据缓存，AVPacket本身只是个容器，不直接的包含数据，而是通过数据缓存的指针引用数据。AVPacket中包含有两种数据

data 指向保存压缩数据的指针，这就是AVPacket实际的数据。

side_data 容器提供的一些附加数据

buf 是AVBufferRef类型的指针，用来管理data指针引用的数据缓存的，其使用在后面介绍。

AVPacket中的内存管理

        AVPacket实际上可用看作一个容器，它本身并不包含压缩的媒体数据，而是通过data指针引用数据的缓存空间。所以将一个Packet作为参数传递的时候，妖就要根据具体的需要，对data引用的这部分数据缓存空间进行特殊的处理。当从一个Packet去创建另一个Packet的时候，有两种情况：

两个Packet的data引用的是同一数据缓存空间，这时候要注意数据缓存空间的释放问题

两个Packet的data引用不同的数据缓存空间，每个Packet都有数据缓存空间的copy。

第二种情况，数据空间的管理比较简单，但是数据实际上有多个copy造成内存空间的浪费。所以要根据具体的需要，来选择到底是两个Packet共享一个数据缓存空间，还是每个Packet拥有自己独自的缓存空间。

        对于多个Packet共享同一个缓存空间，FFmpeg使用的引用计数的机制（reference-count）。当有新的Packet引用共享的缓存空间时，就将引用计数+1；当释放了引用共享空间的Packet，就将引用计数-1；引用计数为0时，就释放掉引用的缓存空间。

AVPacket中的AVBufferRef *buf;就是用来管理这个引用计数的，AVBufferRef的声明如下：

typedef struct AVBufferRef 
    AVBuffer *buffer;
    /**
     * The data buffer. It is considered writable if and only if
     * this is the only reference to the buffer, in which case
     * av_buffer_is_writable() returns 1.
     */
    uint8_t *data;
    /**
     * Size of data in bytes.
     */
    int      size;
 AVBufferRef;  

在AVPacket中使用AVBufferRef有两个函数：av_packet_ref和av_packet_unref。

av_packet_ref

int av_packet_ref(AVPacket *dst, const AVPacket *src)

        创建一个src->data的新的引用计数。如果src已经设置了引用计数发（src->buffer不为空），则直接将其引用计数+1；如果src没有设置引用计数（src->buffer为空），则为dst创建一个新的引用计数buf，并复制src->data到buf->buffer中。最后，复制src的其他字段到dst中。

av_packet_unref
void av_packet_unref(AVPacket *pkt)

        将缓存空间的引用计数-1，并将Packet中的其他字段设为初始值。如果引用计数为0，自动的释放缓存空间。

        所以，有两个Packet共享同一个数据缓存空间的时候可用这么做：

av_read_frame(pFormatCtx, &packet) // 读取Packet

av_packet_ref(&dst,&packet) // dst packet共享同一个数据缓存空间

...

av_packet_unref(&dst);

        下一小节简单的介绍下AVPacket相关的函数，并介绍如何在传递Packet的时候，复制一个独立的数据缓存空间的copy，每个Packet都拥有自己独立的数据缓存空间。

AVPacket 相关函数介绍：

        操作AVPacket的函数大约有30个，主要可以分为：AVPacket的创建初始化、AVPacket中的data数据管理（clone，free，copy等）、AVPacket中的side_data数据管理。

AVPacket的创建有很多种，而由于Packet中的数据是通过data引用的，从一个Packet来创建另一个Packet有多种方法。

av_read_frame 这个是比较常见的了，从媒体流中读取帧填充到填充到Packet的数据缓存空间。如果Packet->buf为空，则Packet的数据缓存空间会在下次调用av_read_frame的时候失效。这也就是为何在FFmpeg3：播放音频中，从流中读取到Packet的时，在将该Packet插入队列时，要调用av_dup_avpacket重新复制一份缓存数据。（av_dup_avpacket函数已废弃，后面会介绍）

av_packet_alloc 创建一个AVPacket，将其字段设为默认值（data为空，没有数据缓存空间）。

av_packet_free 释放使用av_packet_alloc创建的AVPacket，如果该Packet有引用计数（packet->buf不为空），则先调用av_packet_unref(&packet)。

av_packet_clone 其功能是 av_packet_alloc + av_packet_ref

av_init_packet 初始化packet的值为默认值，该函数不会影响data引用的数据缓存空间和size，需要单独处理。

av_new_packet av_init_packet的增强版，不但会初始化字段，还为data分配了存储空间。

av_copy_packet 复制一个新的packet，包括数据缓存。

av_packet_from_data 初始化一个引用计数的packet，并指定了其数据缓存。

av_grow_packet和 av_shrink_packet 增大或者减小Packet->data指向的数据缓存。

就罗列这么多吧，剩下的没提到的基本都是和side_data相关的一些函数，和data的比较类似。

最后介绍下已经废弃的两个函数 av_dup_packet和av_free_packet。

av_dup_packet 是复制src->data引用的数据缓存，赋值给dst。也就是创建两个独立packet，这个功能现在可用使用函数av_packet_ref来代替。

av_free_packet 释放packet，包括其data引用的数据缓存，现在可以使用av_packet_unref代替。

AVPacket队列：

        在FFmpeg3：播放音频中，使用了AVPacket队列来缓存从流中读取的帧数据。这就涉及到多次的AVPacket的传递，从流中读取Packet插入队列；从队列中取出Packet进行解码；以及一些中间变量。由于Dranger教程中使用的已经废弃的API，在参照官方文档进行修改的时候就出现了内存读写的异常。下面就播放音频的教程中的AVPacket队列实现，分析下在AVPacket作为参数传递的过程中，应该如何更好的管理其data引用的缓存空间。

     从流中读取AVPacket插入队列：

 AVPacket packet;
    while (av_read_frame(pFormatCtx, &packet) >= 0)
    
        if (packet.stream_index == audiostream)
            packet_queue_put(&audioq, &packet);
        else
            //av_free_packet(&packet);
            av_packet_unref(&packet);
      

        如果是音频流则将读到Packet调用packet_queue_put插入到队列，如果不是音频流则调用av_packet_unref释放已读取到的AVPacket数据。

        下面代码是packet_queue_put中将Packet放入到一个新建的队列节点的代码片段：

 AVPacketList *pktl;
    //if (av_dup_packet(pkt) < 0)
        //return -1;
    pktl = (AVPacketList*)av_malloc(sizeof(AVPacketList));
    if (!pktl)
        return -1;
    if (av_packet_ref(&pktl->pkt, pkt) < 0)
        return -1;
    //pktl->pkt = *pkt;
    pktl->next = nullptr;  

         注意，在调用packet_queue_put时传递的是指针，也就是形参pkt和实参packet中的data引用的是同一个数据缓存。但是在循环调用av_read_frame的时候，会将packet中的data释放掉，以便于读取下一个帧数据。

        所以就需要对data引用的数据缓存进行处理，保证在读取下一个帧数据的时候，其data引用的数据空间没有被释放。有两种方法，复制一份data引用的数据缓存或者给data引用的缓存空间加一个引用计数。

        注释掉的部分是使用已废弃的APIav_dup_packet，该函数将pkt中data引用的数据缓存复制一份给队列节点中的AVPacket。

        添加引用计数的方法则是调用av_apcket_ref将data引用的数据缓存的引用计数+1，这样其就不会被释放掉。

从队列中取出AVPacket

            //*pkt = pktl->pkt;
            if (av_packet_ref(pkt, &pktl->pkt) < 0)
            
                ret = 0;
                break;
              

         注释掉的代码仍然是两个packet引用了同一个缓存空间，这样在一个使用完成释放掉缓存的时候，会造成另一个访问错误。所以扔给调用av_packet_ref将其引用计数+1，这样在释放其中一个packet的时候其引用的数据缓存就不会被释放掉，知道两个packet都被释放。