音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体

Posted 音视频开发之旅

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体相关的知识,希望对你有一定的参考价值。

目录

  1. ffplay的断点调试
  2. (解封装部分)常用结构体以及之间的关系分析
  3. 资料
  4. 收获

工欲善其事,必先利其器,断点调试,对我们梳理流程排查问题十分重要,可以ffmpeg的调试可以在XCode、VS code以及QT等ide上进行方便的调试分析。本篇我们以XCode为例来先介绍下ffplay的断点调试,以ffmpeg4.4版本来进行分析。

一、ffplay的断点调试

首先下载和编译ffmpeg,具体可以参考音视频开发之旅(33) -交叉编译android使用的FFmpeg(3.x和4.x)
区别在于,我们这次不是交叉编译,而是在Mac上编译安装调试。

./configure --enable-static --disable-shared --enable-debug --disable-doc --disable-x86asm --enable-nonfree  --enable-libvpx --enable-gpl  --enable-opengl --enable-libx264  --enable-libx265 --enable-libvmaf
make -j8
sudo make install

编译成功之后我们会看到几个重要的可执行文件ffmpeg_g、ffprobe_g以及ffplay_g,而接下来的运行和调试就会用到他们。
如何在Xcode下配置调试ffmpeg源码请参考:Xcode调试ffmpeg源码(十五) - 简书

我们在ffplay.c的main函数打断点进行进行分析ffplay解封装(read_thread)流程中用的的结构体。

打开媒体流

VideoState *stream_open(const char *filename,const AVInputFormat *iformat)

涉及到结构体:AVInputFormat

启动readthread开始读取

    is->read_tid     = SDL_CreateThread(read_thread, "read_thread", is);

分配AVFormatContext内存

 AVFormatContext   ic = avformat_alloc_context();

打开流媒体文件

int avformat_open_input(AVFormatContext **ps, const char *filename,
                        const AVInputFormat *fmt, AVDictionary **options)

涉及到结构体:AVFormatContext、AVInputFormat、AVDictionary

获取流信息

int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)

涉及到结构体:AVStream AVCodecParameters AVRational

循环读取frame数据

 for (;;) 
     ...
     int av_read_frame(AVFormatContext *s, AVPacket *pkt)
     ...

涉及到结构体:AVFormatContext、AVPacket等

解封装的流程先到这里,可见如果想学习ffplay的源码,首先要搞清楚主要流程以及过程中涉及的关键结构体。
下一节我们来具体分析这些结构体。

三、(解封装部分)常用结构体以及之间的关系分析常用结构体以及之间的关系分析

3.1 常用结构体以及之间的关系

FFMPEG中结构体很多。最关键的结构体可以分成以下几类:
a)        解协议(http,rtsp,rtmp,mms)

AVIOContext,URLProtocol,URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。(注意:FFMPEG中文件也被当做一种协议“file”)

b)        解封装(flv,avi,rmvb,mp4)

AVFormatContext主要存储视音频封装格式中包含的信息;AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。

c)        解码(h264,mpeg2,aac,mp3)

每个AVStream存储一个视频/音频流的相关数据;每个AVStream对应一个AVCodecContext,存储该视频/音频流使用解码方式的相关数据;每个AVCodecContext中对应一个AVCodec,包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。

d) 存数据

视频的话,每个结构一般是存一帧;音频可能有好几帧

解码前数据:AVPacket

解码后数据:AVFrame


引用自: https://blog.csdn.net/leixiaohua1020/article/details/11693997

他们之间的关系如下:

图片来自:FFMPEG中最关键的结构体之间的关系

3.2。AVFormatContext
该结构体定义在libavformat/Avformat.h中,它是一个贯穿始终的数据结构,很多函数都要用到它作为参数。几个主要变量的作用如下:

struct AVInputFormat *iformat:输入数据的封装格式
struct AVOutputFormat *oformat:输出数据的封装格式

AVIOContext *pb:输入数据的缓存

unsigned int nb_streams:视音频流的个数

AVStream **streams:视音频流

char filename[1024]:文件名

int64_t duration:时长(单位:微秒us,转换为秒需要除以1000000)

int bit_rate:比特率(单位bps,转换为kbps需要除以1000)

AVDictionary *metadata:元数据

3.3 AVInputFormat
该结构体定义也在libavformat/Avformat.h中,是解封装器对象主要的变量的作用如下

const char *name: 格式的名称
const char *mime_type: mime类型如 video/avc video/hevc audio/aac等

以及一系列函数指针
int (*read_probe)(const AVProbeData *);
int (*read_packet)(struct AVFormatContext *, AVPacket *pkt);
int (*read_close)(struct AVFormatContext *);
int (*read_seek)(struct AVFormatContext *,
                     int stream_index, int64_t timestamp, int flags);
int (*read_play)(struct AVFormatContext *);

int (*read_pause)(struct AVFormatContext *);
int (*read_seek2)(struct AVFormatContext *s, int stream_index, int64_t min_ts, int64_t ts, int64_t max_ts, int flags);

3.4 AVStream
每个AVStream存储一个视频/音频流的相关数据;是解封装器分离出来的流对象,即解封装的产物,它保存在AVFormatcontext中。

该结构体定义也在libavformat/Avformat.h中, 主要变量如下:

int index;  流索引
int id; 流id
void *priv_data; 流数据
AVRational time_base; 时间基,通过该值可以把PTS,DTS转化为真正的时间;PTS*time_base=真正的时间
int64_t duration:流长度
AVRational sample_aspect_ratio; 采样率
AVRational avg_frame_rate:帧率
AVCodecContext *codec:指向该视频/音频流的AVCodecContext(它们是一一对应的关系)

AVStream是解封装环节的输出,同时也是解码环节的输入,每个AVStream对应一个AVCodecContext,存储该视频/音频流使用解码方式的相关数据;每个AVCodecContext中对应一个AVCodec,包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。
解码部分的数据结构分析我们下一篇再来分析学习。

3.5 AVPacket
存储压缩编码数据相关信息的结构体,保存了解封装之后,解码之前的数据以及PTS、DTS、Duration以及streamId等信息
该结构体定义位于libavcodec/Packet.h中,主要变量如下:

  uint8_t *data; 对于H.264来说。1个AVPacket的data通常对应一个NAL。
int   size:data的大小
int64_t pts:显示时间戳
int64_t dts:解码时间戳
AVPacketSideData *side_data;附加信息

三、资料

android音视频开发》-第八章
Xcode调试ffmpeg源码(十五)
FFMPEG中最关键的结构体之间的关系
FFMPEG结构体分析:AVFormatContext
FFMPEG结构体分析:AVStream
FFMPEG结构体分析:AVPacket

四、收获

通过本篇的学习实践,我们学习到了

  1. 如何在Xcode下断点调试ffmpeg并进行ffplay解封装流程的分析
  2. 了解常用结构体之间的关系:解协议、解封装、解码对应的结构体以及之间的关系
  3. 了解解封装相关的几个关键结构的的主要变量和函数。AVFormatContext、AVInputFormat、AVStream

感谢你的阅读
下一篇我们分析ffmpeg解码部分的常用结构体,欢迎关注公众号“音视频开发之旅”,一起学习成长。
欢迎交流

 

以上是关于音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体的主要内容,如果未能解决你的问题,请参考以下文章

音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体

音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体

音视频开发之旅(61)- 分析FFmpeg (解码部分的)常用结构体

音视频开发之旅(61)- 分析FFmpeg (解码部分的)常用结构体

音视频开发之旅(61)- 分析FFmpeg (解码部分的)常用结构体

Android NDK开发之旅38--FFmpeg视频添加水印