音视频开发7. ffmpeg 几个重要结构体

Posted 2022-03-10 编程圈子

音视频开发7. ffmpeg 几个重要结构体

• 一、环境准备
• 二、项目结构
• 三、几个重要的结构体
• • 1. AVCodec 与 AVCodecContext
  • • 3.1.1 AVCodec
    • 3.1.2 AVCodecContext
    • 3.1.3 打开一个编码器的实例:
  • 2. AVStream
  • • int index
    • int id
    • AVCodecContext *codec
    • AVRational time_base
    • int64_t start_time
    • int64_t duration
    • int64_t nb_frames
    • enum AVDiscard discard
    • AVRational sample_aspect_ratio
    • AVDictionary *metadata
    • AVRational avg_frame_rate
    • AVPacket attached_pic
    • int probe_packets
    • int codec_info_nb_frames
    • int request_probe
    • int skip_to_keyframe
    • int skip_samples
    • int64_t start_skip_samples
    • int64_t first_discard_sample
    • AVRational display_aspect_ratio
  • 3. AVFrame
  • • data
    • extended_data
    • width , height
    • nb_samples
    • format
    • key_frame
    • pict_type
    • sample_aspect_ratio
    • pts
    • pkt_pts
    • pkt_dts
    • coded_picture_number
    • display_picture_number
    • interlaced_frame
    • sample_rate
    • channel_layout
    • buf
    • extended_buf
    • nb_extended_buf
    • best_effort_timestamp
    • pkt_pos
    • pkt_duration
    • channels
    • pkt_size
    • crop_
• 四、一些重要函数
• • 1. av_frame_alloc
  • • 2. av_frame_free
    • 3. av_frame_ref
    • 4. av_frame_clone
    • 5. av_frame_unref
    • 6. av_frame_move_ref
    • 7. av_frame_get_buffer
    • 8. av_frame_copy

一、环境准备

• windows vscode 开发环境
• 安装Remote Development 插件进行远程开发
• 运行环境在 CentOS
• 已经编译安装ffmpeg库（可参照前文设置）
• 本程序目标，将一个pcm音频文件转码为aac文件
• 本文目标：学习ffmpeg的几个基本结构体： avformat,avcodec,av

流程简介：

二、项目结构

三、几个重要的结构体

1. AVCodec 与 AVCodecContext

3.1.1 AVCodec

存储编解码器信息的结构体，其中比较重要的成员：

• const char *name：编解码器的名字，比较短
• const char *long_name：编解码器的名字，全称，比较长
• enum AVMediaType type：区分是视频，音频，还是字幕
• enum AVCodecID id：ID，不重复
• const AVRational *supported_framerates：支持的帧率（仅视频）
• const enum AVPixelFormat *pix_fmts：支持的像素格式（仅视频）
• const int *supported_samplerates：支持的采样率（仅音频）
• const enum AVSampleFormat *sample_fmts：支持的采样格式（仅音频）
• const uint64_t *channel_layouts：支持的声道数（仅音频）
• int priv_data_size：私有数据的大小

每种编码器都会有对应的结构体，如h.264的编码器：

AVCodec ff_h264_decoder = 
    .name           = "h264",
    .type           = AVMEDIA_TYPE_VIDEO,
    .id             = CODEC_ID_H264,
    .priv_data_size = sizeof(H264Context),
    .init           = ff_h264_decode_init,
    .close          = ff_h264_decode_end,
    .decode         = decode_frame,
    .capabilities   = /*CODEC_CAP_DRAW_HORIZ_BAND |*/ CODEC_CAP_DR1 | CODEC_CAP_DELAY |
                      CODEC_CAP_SLICE_THREADS | CODEC_CAP_FRAME_THREADS,
    .flush= flush_dpb,
    .long_name = NULL_IF_CONFIG_SMALL("H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10"),
    .init_thread_copy      = ONLY_IF_THREADS_ENABLED(decode_init_thread_copy),
    .update_thread_context = ONLY_IF_THREADS_ENABLED(decode_update_thread_context),
    .profiles = NULL_IF_CONFIG_SMALL(profiles),
    .priv_class     = &h264_class,
;

3.1.2 AVCodecContext

编解码器的上下文。

• 如果是单独用libavcodec，这部分信息需要手工初始化；
• 使用整个FFMPEG库时，可以在调用 av_open_input_file和av_find_stream_info的过程中根据文件的头信息及媒体流内的头部信息完成初始化。

AVCodecContext的几个重要成员：

enum AVMediaType codec_type：编解码器的类型（视频，音频...）
struct AVCodec  *codec：解码器AVCodec（H.264,MPEG2...）
int bit_rate：比特率
uint8_t *extradata; 
int extradata_size：针对特定编码器所包含的附加信息（如H.264的SPS，PPS等）
AVRational time_base：时间基准，PTS转化为实际的时间用（单位是秒）
int width, height：视频宽和高
int refs：运动估计参考帧个数（有些视频编码会使用，如H.264）
int sample_rate：采样率（音频用）
int channels：声道数（音频用）
enum AVSampleFormat sample_fmt：音频原始采样格式
codec_name/codec_type/codec_id/codec_tag：编解码器信息

3.1.3 打开一个编码器的实例:

//获取视频流
videoStream = av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
//获取codec
AVCodec *vcodec = avcodec_find_decoder(ic->streams[videoStream]->codecpar->codec_id);
//构造AVCodecContext ,并将vcodec填入AVCodecContext中
AVCodecContext *vc = avcodec_alloc_context3(vcodec); 
avcodec_parameters_to_context(vc, ic->streams[videoStream]->codecpar); //初始化AVCodecContext
int ret = avcodec_open2(vc, NULL,NULL); //打开解码器,由于之前调用avcodec_alloc_context3(vcodec)初始化了vc,那么codec(第2个参数)可以填NULL

2. AVStream

用来存储每一个视频/音频流信息的结构体。其中重要的成员：

int index

在AVFormatContext中的索引，这个数字是自动生成的，可以通过这个数字从AVFormatContext::streams表中索引到该流。

int id

流的标识，依赖于具体的容器格式。解码：由libavformat设置。编码：由用户设置，如果未设置则由libavformat替换。

AVCodecContext *codec

指向该流对应的AVCodecContext结构，调用avformat_open_input时生成。

AVRational time_base

这是表示帧时间戳的基本时间单位（以秒为单位）。该流中媒体数据的pts和dts都将以这个时间基准为粒度。

int64_t start_time

流的起始时间，以流的时间基准为单位。如需设置，100％确保你设置它的值真的是第一帧的pts。

int64_t duration

解码：流的持续时间。如果源文件未指定持续时间，但指定了比特率，则将根据比特率和文件大小估计该值。

int64_t nb_frames

此流中的帧数（如果已知）或0。

enum AVDiscard discard

选择哪些数据包可以随意丢弃，不需要去demux。

AVRational sample_aspect_ratio

样本长宽比（如果未知，则为0）

AVDictionary *metadata

元数据信息。

AVRational avg_frame_rate

平均帧速率。
解封装：可以在创建流时设置为libavformat，也可以在avformat_find_stream_info（）中设置。
封装：可以由调用者在avformat_write_header（）之前设置。

AVPacket attached_pic

附带的图片。比如说一些MP3，AAC音频文件附带的专辑封面。

int probe_packets

编解码器用于probe的包的个数。

int codec_info_nb_frames

在av_find_stream_info（）期间已经解封装的帧数。

int request_probe

流探测状态，1表示探测完成，0表示没有探测请求，rest 执行探测。

int skip_to_keyframe

表示应丢弃直到下一个关键帧的所有内容。

int skip_samples

在从下一个数据包解码的帧开始时要跳过的采样数。

int64_t start_skip_samples

如果不是0，则应该从流的开始跳过的采样的数目。

int64_t first_discard_sample

如果不是0，则应该从流中丢弃第一个音频样本。

AVRational display_aspect_ratio

显示宽高比。

3. AVFrame

用来存储解码后的原始数据；解码时，AVFrame 存储解码输出；编码时，AVFrame存储编码输入。由AVFrameav_frame_alloc在堆上分配内存，使用 av_frame_free 销毁。
AVFrame可以复用，复用前调用 av_frame_unref 重置。
其中的重要成员：

data

指向视频中图像的某一 plane 或音频中某一声道的 plane。
如果是视频，linesize 每个元素是一个图像 plane 中一行图像的大小(字节数)。数据要有对齐要求。对于 planar 格式视频，有多个 plane，每个 plane 的 linesize 表示一行图像在当前 plane 中所占的存储空间大小。对于 packed 格式视频，只有一个 plane，linesize 表示一行图像所占的存储空间大小。

对于音频来说，linesize 每个元素是一个音频 plane 的大小(字节数)。packed 格式多声道音频只有一个 plane，planar 格式多声道音频有多个 plane。音频只使用 linesize[0]，即使有多个 plane。对于 planar 音频来说，每个 plane 的大小必须一样。

linesize 可能会因性能上的考虑而填充一些额外的数据，因此 linesize 可能比实际对应的音视频数据尺寸要大。

extended_data

对于视频来说，直接指向 data[]成员。
对于音频来说，packet 格式音频只有一个 plane，一个音频帧中各个声道的采样点交织存储在此 plane 中；planar 格式音频每个声道一个 plane。在多声道 planar 格式音频中，必须使用 extended_data 才能访问所有声道，什么意思？
在有效的视频/音频 frame 中，data 和 extended_data 两个成员都必须设置有效值。

width , height

视频尺寸。

nb_samples

音频帧中单个声道中包含的采样点数。

format

帧格式。如果是未知格式或未设置，则值为-1。
对于视频帧，此值对应于“enum AVPixelFormat”结构：
对于音频帧，对应于：enum AVSampleFormat

key_frame

视频帧是否是关键帧的标识，1->关键帧，0->非关键帧。

pict_type

视频帧类型(I、B、P 等)

sample_aspect_ratio

视频帧的宽高比。

pts

显示时间戳。单位是 time_base。

pkt_pts

此 frame 对应的 packet 中的显示时间戳。是从对应 packet(解码生成此 frame)中拷贝 PTS 得到此值。

pkt_dts

此 frame 对应的 packet 中的解码时间戳。是从对应 packet(解码生成此 frame)中拷贝 DTS 得到此值。
如果对应的 packet 中只有 dts 而未设置 pts，则此值也是此 frame 的 pts。

coded_picture_number

在编码流中当前图像的序号。

display_picture_number

在显示序列中当前图像的序号。

interlaced_frame

图像逐行/隔行模式标识。

sample_rate

音频采样率

channel_layout

音频声道布局。每 bit 代表一个特定的声道，参考 channel_layout.h 中的定义，一目了然：

buf

缓冲区。

extended_buf

缓冲区扩展域。

nb_extended_buf

extended_buf中的元素数目。

best_effort_timestamp

libavcodec 推测最佳时间基准

pkt_pos

最后一个由解码器调用的packet在输入文件中的位置偏移量。

pkt_duration

对于packaet的时长， 单位是AVStream->time_base

channels

音频声道数量。

pkt_size

packet的大小

crop_

用于视频图像裁剪。

四、一些重要函数

1. av_frame_alloc

构造AVFrame.

2. av_frame_free

释放一个AVFrame

3. av_frame_ref

为src中的数据建立一个新的引用。

4. av_frame_clone

创建一个新的frame，新的frame和src使用同一数据缓冲区。

5. av_frame_unref

取消frame和缓冲区的引用，复位frame中各成员。

6. av_frame_move_ref

将 src 中所有数据拷贝到 dst 中，并复位 src。调用本方法前应先调用 av_frame_unref。

7. av_frame_get_buffer

为音频或视频数据分配新的缓冲区。

8. av_frame_copy

将 src 中的帧数据拷贝到 dst 中。

部分内容引用：
https://www.cnblogs.com/leisure_chn/p/10404502.html