音视频开发之旅（60) -调试分析FFmpeg (解封装部分的）常用结构体

Posted 2022-11-25 音视频开发之旅

目录

1. ffplay的断点调试
2. （解封装部分）常用结构体以及之间的关系分析
3. 资料
4. 收获

工欲善其事，必先利其器，断点调试，对我们梳理流程排查问题十分重要，可以ffmpeg的调试可以在XCode、VS code以及QT等ide上进行方便的调试分析。本篇我们以XCode为例来先介绍下ffplay的断点调试，以ffmpeg4.4版本来进行分析。

一、ffplay的断点调试

首先下载和编译ffmpeg，具体可以参考音视频开发之旅（33) -交叉编译android使用的FFmpeg(3.x和4.x)
区别在于，我们这次不是交叉编译，而是在Mac上编译安装调试。

./configure --enable-static --disable-shared --enable-debug --disable-doc --disable-x86asm --enable-nonfree  --enable-libvpx --enable-gpl  --enable-opengl --enable-libx264  --enable-libx265 --enable-libvmaf
make -j8
sudo make install

编译成功之后我们会看到几个重要的可执行文件ffmpeg_g、ffprobe_g以及ffplay_g,而接下来的运行和调试就会用到他们。
如何在Xcode下配置调试ffmpeg源码请参考：Xcode调试ffmpeg源码(十五) - 简书

我们在ffplay.c的main函数打断点进行进行分析ffplay解封装（read_thread）流程中用的的结构体。

打开媒体流

VideoState *stream_open(const char *filename,const AVInputFormat *iformat)

涉及到结构体：AVInputFormat

启动readthread开始读取

    is->read_tid     = SDL_CreateThread(read_thread, "read_thread", is);

分配AVFormatContext内存

 AVFormatContext   ic = avformat_alloc_context();

打开流媒体文件

int avformat_open_input(AVFormatContext **ps, const char *filename,
                        const AVInputFormat *fmt, AVDictionary **options)

涉及到结构体：AVFormatContext、AVInputFormat、AVDictionary

获取流信息

int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)

涉及到结构体：AVStream AVCodecParameters AVRational

循环读取frame数据

 for (;;) 
     ...
     int av_read_frame(AVFormatContext *s, AVPacket *pkt)
     ...

涉及到结构体：AVFormatContext、AVPacket等

解封装的流程先到这里，可见如果想学习ffplay的源码，首先要搞清楚主要流程以及过程中涉及的关键结构体。
下一节我们来具体分析这些结构体。

三、（解封装部分）常用结构体以及之间的关系分析常用结构体以及之间的关系分析

3.1 常用结构体以及之间的关系

FFMPEG中结构体很多。最关键的结构体可以分成以下几类：
a)        解协议（http,rtsp,rtmp,mms）

AVIOContext，URLProtocol，URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。（注意：FFMPEG中文件也被当做一种协议“file”）

b)        解封装（flv,avi,rmvb,mp4）

AVFormatContext主要存储视音频封装格式中包含的信息；AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。

c)        解码（h264,mpeg2,aac,mp3）

每个AVStream存储一个视频/音频流的相关数据；每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

d) 存数据

视频的话，每个结构一般是存一帧；音频可能有好几帧

解码前数据：AVPacket

解码后数据：AVFrame


引用自： https://blog.csdn.net/leixiaohua1020/article/details/11693997

他们之间的关系如下：

图片来自：FFMPEG中最关键的结构体之间的关系

3.2。AVFormatContext
该结构体定义在libavformat/Avformat.h中，它是一个贯穿始终的数据结构，很多函数都要用到它作为参数。几个主要变量的作用如下：

struct AVInputFormat *iformat：输入数据的封装格式
struct AVOutputFormat *oformat：输出数据的封装格式

AVIOContext *pb：输入数据的缓存

unsigned int nb_streams：视音频流的个数

AVStream **streams：视音频流

char filename[1024]：文件名

int64_t duration：时长（单位：微秒us，转换为秒需要除以1000000）

int bit_rate：比特率（单位bps，转换为kbps需要除以1000）

AVDictionary *metadata：元数据

3.3 AVInputFormat
该结构体定义也在libavformat/Avformat.h中，是解封装器对象主要的变量的作用如下

const char *name: 格式的名称
const char *mime_type： mime类型如 video/avc video/hevc audio/aac等

以及一系列函数指针
int (*read_probe)(const AVProbeData *);
int (*read_packet)(struct AVFormatContext *, AVPacket *pkt);
int (*read_close)(struct AVFormatContext *);
int (*read_seek)(struct AVFormatContext *,
                     int stream_index, int64_t timestamp, int flags);
int (*read_play)(struct AVFormatContext *);

int (*read_pause)(struct AVFormatContext *);
int (*read_seek2)(struct AVFormatContext *s, int stream_index, int64_t min_ts, int64_t ts, int64_t max_ts, int flags);

3.4 AVStream
每个AVStream存储一个视频/音频流的相关数据；是解封装器分离出来的流对象，即解封装的产物，它保存在AVFormatcontext中。

该结构体定义也在libavformat/Avformat.h中, 主要变量如下:

int index;  流索引
int id; 流id
void *priv_data; 流数据
AVRational time_base; 时间基，通过该值可以把PTS，DTS转化为真正的时间；PTS*time_base=真正的时间
int64_t duration：流长度
AVRational sample_aspect_ratio； 采样率
AVRational avg_frame_rate：帧率
AVCodecContext *codec：指向该视频/音频流的AVCodecContext（它们是一一对应的关系）

AVStream是解封装环节的输出，同时也是解码环节的输入，每个AVStream对应一个AVCodecContext，存储该视频/音频流使用解码方式的相关数据；每个AVCodecContext中对应一个AVCodec，包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。
解码部分的数据结构分析我们下一篇再来分析学习。

3.5 AVPacket
存储压缩编码数据相关信息的结构体，保存了解封装之后，解码之前的数据以及PTS、DTS、Duration以及streamId等信息
该结构体定义位于libavcodec/Packet.h中，主要变量如下:

  uint8_t *data; 对于H.264来说。1个AVPacket的data通常对应一个NAL。
int   size：data的大小
int64_t pts：显示时间戳
int64_t dts：解码时间戳
AVPacketSideData *side_data;附加信息

三、资料

《android音视频开发》-第八章
Xcode调试ffmpeg源码(十五)
FFMPEG中最关键的结构体之间的关系
FFMPEG结构体分析：AVFormatContext
FFMPEG结构体分析：AVStream
FFMPEG结构体分析：AVPacket

四、收获

通过本篇的学习实践，我们学习到了

1. 如何在Xcode下断点调试ffmpeg并进行ffplay解封装流程的分析
2. 了解常用结构体之间的关系：解协议、解封装、解码对应的结构体以及之间的关系
3. 了解解封装相关的几个关键结构的的主要变量和函数。AVFormatContext、AVInputFormat、AVStream

感谢你的阅读
下一篇我们分析ffmpeg解码部分的常用结构体，欢迎关注公众号“音视频开发之旅”，一起学习成长。
欢迎交流