音视频开发7. ffmpeg 几个重要结构体

Posted 编程圈子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了音视频开发7. ffmpeg 几个重要结构体相关的知识,希望对你有一定的参考价值。

音视频开发7. ffmpeg 几个重要结构体

一、环境准备

  • windows vscode 开发环境
  • 安装Remote Development 插件进行远程开发
  • 运行环境在 CentOS
  • 已经编译安装ffmpeg库(可参照前文设置)
  • 本程序目标,将一个pcm音频文件转码为aac文件
  • 本文目标:学习ffmpeg的几个基本结构体: avformat,avcodec,av

流程简介:

二、项目结构

三、几个重要的结构体

1. AVCodec 与 AVCodecContext

3.1.1 AVCodec

存储编解码器信息的结构体,其中比较重要的成员:

  • const char *name:编解码器的名字,比较短
  • const char *long_name:编解码器的名字,全称,比较长
  • enum AVMediaType type:区分是视频,音频,还是字幕
  • enum AVCodecID id:ID,不重复
  • const AVRational *supported_framerates:支持的帧率(仅视频)
  • const enum AVPixelFormat *pix_fmts:支持的像素格式(仅视频)
  • const int *supported_samplerates:支持的采样率(仅音频)
  • const enum AVSampleFormat *sample_fmts:支持的采样格式(仅音频)
  • const uint64_t *channel_layouts:支持的声道数(仅音频)
  • int priv_data_size:私有数据的大小

每种编码器都会有对应的结构体,如h.264的编码器:

AVCodec ff_h264_decoder = 
    .name           = "h264",
    .type           = AVMEDIA_TYPE_VIDEO,
    .id             = CODEC_ID_H264,
    .priv_data_size = sizeof(H264Context),
    .init           = ff_h264_decode_init,
    .close          = ff_h264_decode_end,
    .decode         = decode_frame,
    .capabilities   = /*CODEC_CAP_DRAW_HORIZ_BAND |*/ CODEC_CAP_DR1 | CODEC_CAP_DELAY |
                      CODEC_CAP_SLICE_THREADS | CODEC_CAP_FRAME_THREADS,
    .flush= flush_dpb,
    .long_name = NULL_IF_CONFIG_SMALL("H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10"),
    .init_thread_copy      = ONLY_IF_THREADS_ENABLED(decode_init_thread_copy),
    .update_thread_context = ONLY_IF_THREADS_ENABLED(decode_update_thread_context),
    .profiles = NULL_IF_CONFIG_SMALL(profiles),
    .priv_class     = &h264_class,
;

3.1.2 AVCodecContext

编解码器的上下文。

  • 如果是单独用libavcodec,这部分信息需要手工初始化;
  • 使用整个FFMPEG库时,可以在调用 av_open_input_fileav_find_stream_info的过程中根据文件的头信息及媒体流内的头部信息完成初始化。

AVCodecContext的几个重要成员:

enum AVMediaType codec_type:编解码器的类型(视频,音频...struct AVCodec  *codec:解码器AVCodec(H.264,MPEG2...int bit_rate:比特率
uint8_t *extradata; 
int extradata_size:针对特定编码器所包含的附加信息(如H.264的SPS,PPS等)
AVRational time_base:时间基准,PTS转化为实际的时间用(单位是秒)
int width, height:视频宽和高
int refs:运动估计参考帧个数(有些视频编码会使用,如H.264int sample_rate:采样率(音频用)
int channels:声道数(音频用)
enum AVSampleFormat sample_fmt:音频原始采样格式
codec_name/codec_type/codec_id/codec_tag:编解码器信息

3.1.3 打开一个编码器的实例:

//获取视频流
videoStream = av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
//获取codec
AVCodec *vcodec = avcodec_find_decoder(ic->streams[videoStream]->codecpar->codec_id);
//构造AVCodecContext ,并将vcodec填入AVCodecContext中
AVCodecContext *vc = avcodec_alloc_context3(vcodec); 
avcodec_parameters_to_context(vc, ic->streams[videoStream]->codecpar); //初始化AVCodecContext
int ret = avcodec_open2(vc, NULL,NULL); //打开解码器,由于之前调用avcodec_alloc_context3(vcodec)初始化了vc,那么codec(第2个参数)可以填NULL

2. AVStream

用来存储每一个视频/音频流信息的结构体。其中重要的成员:

int index

在AVFormatContext中的索引,这个数字是自动生成的,可以通过这个数字从AVFormatContext::streams表中索引到该流。

int id

流的标识,依赖于具体的容器格式。解码:由libavformat设置。编码:由用户设置,如果未设置则由libavformat替换。

AVCodecContext *codec

指向该流对应的AVCodecContext结构,调用avformat_open_input时生成。

AVRational time_base

这是表示帧时间戳的基本时间单位(以秒为单位)。该流中媒体数据的pts和dts都将以这个时间基准为粒度。

int64_t start_time

流的起始时间,以流的时间基准为单位。如需设置,100%确保你设置它的值真的是第一帧的pts。

int64_t duration

解码:流的持续时间。如果源文件未指定持续时间,但指定了比特率,则将根据比特率和文件大小估计该值。

int64_t nb_frames

此流中的帧数(如果已知)或0。

enum AVDiscard discard

选择哪些数据包可以随意丢弃,不需要去demux。

AVRational sample_aspect_ratio

样本长宽比(如果未知,则为0)

AVDictionary *metadata

元数据信息。

AVRational avg_frame_rate

平均帧速率。
解封装:可以在创建流时设置为libavformat,也可以在avformat_find_stream_info()中设置。
封装:可以由调用者在avformat_write_header()之前设置。

AVPacket attached_pic

附带的图片。比如说一些MP3,AAC音频文件附带的专辑封面。

int probe_packets

编解码器用于probe的包的个数。

int codec_info_nb_frames

在av_find_stream_info()期间已经解封装的帧数。

int request_probe

流探测状态,1表示探测完成,0表示没有探测请求,rest 执行探测。

int skip_to_keyframe

表示应丢弃直到下一个关键帧的所有内容。

int skip_samples

在从下一个数据包解码的帧开始时要跳过的采样数。

int64_t start_skip_samples

如果不是0,则应该从流的开始跳过的采样的数目。

int64_t first_discard_sample

如果不是0,则应该从流中丢弃第一个音频样本。

AVRational display_aspect_ratio

显示宽高比。

3. AVFrame

用来存储解码后的原始数据;解码时,AVFrame 存储解码输出;编码时,AVFrame存储编码输入。由AVFrameav_frame_alloc在堆上分配内存,使用 av_frame_free 销毁。
AVFrame可以复用,复用前调用 av_frame_unref 重置。
其中的重要成员:

data

指向视频中图像的某一 plane 或音频中某一声道的 plane。
如果是视频,linesize 每个元素是一个图像 plane 中一行图像的大小(字节数)。数据要有对齐要求。对于 planar 格式视频,有多个 plane,每个 plane 的 linesize 表示一行图像在当前 plane 中所占的存储空间大小。对于 packed 格式视频,只有一个 plane,linesize 表示一行图像所占的存储空间大小。

对于音频来说,linesize 每个元素是一个音频 plane 的大小(字节数)。packed 格式多声道音频只有一个 plane,planar 格式多声道音频有多个 plane。音频只使用 linesize[0],即使有多个 plane。对于 planar 音频来说,每个 plane 的大小必须一样。

linesize 可能会因性能上的考虑而填充一些额外的数据,因此 linesize 可能比实际对应的音视频数据尺寸要大。

extended_data

对于视频来说,直接指向 data[]成员。
对于音频来说,packet 格式音频只有一个 plane,一个音频帧中各个声道的采样点交织存储在此 plane 中;planar 格式音频每个声道一个 plane。在多声道 planar 格式音频中,必须使用 extended_data 才能访问所有声道,什么意思?
在有效的视频/音频 frame 中,data 和 extended_data 两个成员都必须设置有效值。

width , height

视频尺寸。

nb_samples

音频帧中单个声道中包含的采样点数。

format

帧格式。如果是未知格式或未设置,则值为-1。
对于视频帧,此值对应于“enum AVPixelFormat”结构:
对于音频帧,对应于:enum AVSampleFormat

key_frame

视频帧是否是关键帧的标识,1->关键帧,0->非关键帧。

pict_type

视频帧类型(I、B、P 等)

sample_aspect_ratio

视频帧的宽高比。

pts

显示时间戳。单位是 time_base。

pkt_pts

此 frame 对应的 packet 中的显示时间戳。是从对应 packet(解码生成此 frame)中拷贝 PTS 得到此值。

pkt_dts

此 frame 对应的 packet 中的解码时间戳。是从对应 packet(解码生成此 frame)中拷贝 DTS 得到此值。
如果对应的 packet 中只有 dts 而未设置 pts,则此值也是此 frame 的 pts。

coded_picture_number

在编码流中当前图像的序号。

display_picture_number

在显示序列中当前图像的序号。

interlaced_frame

图像逐行/隔行模式标识。

sample_rate

音频采样率

channel_layout

音频声道布局。每 bit 代表一个特定的声道,参考 channel_layout.h 中的定义,一目了然:

buf

缓冲区。

extended_buf

缓冲区扩展域。

nb_extended_buf

extended_buf中的元素数目。

best_effort_timestamp

libavcodec 推测最佳时间基准

pkt_pos

最后一个由解码器调用的packet在输入文件中的位置偏移量。

pkt_duration

对于packaet的时长, 单位是AVStream->time_base

channels

音频声道数量。

pkt_size

packet的大小

crop_

用于视频图像裁剪。

四、一些重要函数

1. av_frame_alloc

构造AVFrame.

2. av_frame_free

释放一个AVFrame

3. av_frame_ref

为src中的数据建立一个新的引用。

4. av_frame_clone

创建一个新的frame,新的frame和src使用同一数据缓冲区。

5. av_frame_unref

取消frame和缓冲区的引用,复位frame中各成员。

6. av_frame_move_ref

将 src 中所有数据拷贝到 dst 中,并复位 src。调用本方法前应先调用 av_frame_unref。

7. av_frame_get_buffer

为音频或视频数据分配新的缓冲区。

8. av_frame_copy

将 src 中的帧数据拷贝到 dst 中。

部分内容引用:
https://www.cnblogs.com/leisure_chn/p/10404502.html

以上是关于音视频开发7. ffmpeg 几个重要结构体的主要内容,如果未能解决你的问题,请参考以下文章

FFmpeg中几个重要结构体的意义

音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体

音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体

音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体

音视频开发之旅(60) -调试分析FFmpeg (解封装部分的)常用结构体

音视频开发之旅(61)- 分析FFmpeg (解码部分的)常用结构体