FFmpeg学习1:视频解码

Posted laughingQing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FFmpeg学习1:视频解码相关的知识,希望对你有一定的参考价值。

在视频解码前,先了解以下几个基本的概念:

  • 编解码器(CODEC):能够进行视频和音频压缩(CO)与解压缩(DEC),是视频编解码的核心部分。
  • 容器/多媒体文件(Container/File):没有了解视频的编解码之前,总是错误的认为平常下载的电影的文件的后缀(avi,mkv,rmvb等)就是视频的编码方式。事实上,刚才提到的几种文件的后缀
    并不是视频的编码方式,只是其封装的方式。一个视频文件通常有视频数据、音频数据以及字幕等,封装的格式决定这些数据在文件中是如何的存放的,封装在一起音频、视频等数据组成的多媒体文件,也可以叫做容器(其中包含了视音频数据)。所以,只看多媒体文件的后缀名是难以知道视音频的编码方式的。
  • 流数据 Stream,例如视频流(Video Stream),音频流(Audio Stream)。流中的数据元素被称为帧Frame

FFmpeg视频解码过程

通常来说,FFmpeg的视频解码过程有以下几个步骤:

  1. 注册所支持的所有的文件(容器)格式及其对应的CODEC av_register_all()
  2. 打开文件 avformat_open_input()
  3. 从文件中提取流信息 avformat_find_stream_info()
  4. 在多个数据流中找到视频流 video stream(类型为MEDIA_TYPE_VIDEO
  5. 查找video stream 相对应的解码器 avcodec_find_decoder
  6. 打开解码器 avcodec_open2()
  7. 为解码帧分配内存 av_frame_alloc()
  8. 从流中读取读取数据到Packet中 av_read_frame()
  9. 对video 帧进行解码,调用 avcodec_decode_video2()

解码过程的具体说明

1. 注册

av_register_all该函数注册支持的所有的文件格式(容器)及其对应的CODEC,只需要调用一次,故一般放在main函数中。也可以注册某个特定的容器格式,但通常来说不需要这么做。

2. 打开文件

avformat_open_input该函数读取文件的头信息,并将其信息保存到AVFormatContext结构体中。其调用如下

AVFormatContext* pFormatCtx = nullptr;  
avformat_open_input(&pFormatCtx, filenName, nullptr, nullptr)  

第一个参数是AVFormatContext结构体的指针,第二个参数为文件路径;第三个参数用来设定输入文件的格式,如果设为null,将自动检测文件格式;第四个参数用来填充AVFormatContext一些字段以及Demuxer的private选项。
AVFormatContext包含有较多的码流信息参数,通常由avformat_open_input创建并填充关键字段。

3. 获取必要的CODEC参数

avformat_open_input通过解析多媒体文件或流的头信息及其他的辅助数据,能够获取到足够多的关于文件、流和CODEC的信息,并将这些信息填充到AVFormatContext结构体中。但任何一种多媒体格式(容器)提供的信息都是有限的,而且不同的多媒体制作软件对头信息的设置也不尽相同,在制作多媒体文件的时候难免会引入一些错误。也就是说,仅仅通过avformat_open_input并不能保证能够获取所需要的信息,所以一般要使用

avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)

avformat_find_stream_info主要用来获取必要的CODEC参数,设置到ic->streams[i]->codec
在解码的过程中,首先要获取到各个stream所对应的CODEC类型和id,CODEC的类型和id是两个枚举值,其定义如下:

enum AVMediaType { 
    AVMEDIA_TYPE_UNKNOWN = -1,     
    AVMEDIA_TYPE_VIDEO,     
    AVMEDIA_TYPE_AUDIO,     
    AVMEDIA_TYPE_DATA, 
    AVMEDIA_TYPE_SUBTITLE,    
    AVMEDIA_TYPE_ATTACHMENT,     
    AVMEDIA_TYPE_NB
 }; 

enum CodecID { 
    CODEC_ID_NONE,     /* video codecs */ 
    CODEC_ID_MPEG1VIDEO, 
    CODEC_ID_MPEG2VIDEO, ///< preferred ID for MPEG-1/2 video decoding     
    CODEC_ID_MPEG2VIDEO_XVMC,     
    CODEC_ID_H261,     
    CODEC_ID_H263, 
...
}

通常,如果多媒体文件具有完整而正确的头信息,通过avformat_open_input即可用获得这两个参数。

4. 打开解码器

经过上面的步骤,已经将文件格式信息读取到了AVFormatContext中,要打开流数据相应的CODEC需要经过下面几个步骤

  • 找到视频流 video stream
    一个多媒体文件包含有多个原始流,例如 movie.mkv这个多媒体文件可能包含下面的流数据
  • 原始流 1 h.264 video
  • 原始流 2 aac audio for Chinese
  • 原始流 3 aac audio for English
  • 原始流 4 Chinese Subtitle
  • 原始流 5 English Subtitle

要解码视频,首先要在AVFormatContext包含的多个流中找到CODEC类型为AVMEDIA_TYPE_VIDEO,代码如下:

    //查找视频流 video stream
    int videoStream = -1;
    for (int i = 0; i < pFormatCtx->nb_streams; i++)
    {
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            videoStream = i;
            break;
        }
    }
    if (videoStream == -1)
        return -1; // 没有找到视频流video stream  

结构体AVFormatContext中的streams字段是一个AVStream指针的数组,包含了文件所有流的描述,上述上述代码在该数组中查找CODEC类型为
AVMEDIA_TYPE_VIDEO的流的下标。

  • 根据codec_id找到相应的CODEC,并打开
    结构体AVCodecContext描述了CODEC上下文,包含了众多CODEC所需要的参数信息。

    AVCodecContext* pCodecCtxOrg = nullptr; 
    AVCodec* pCodec = nullptr;
    pCodecCtxOrg = pFormatCtx->streams[videoStream]->codec; // codec context
    // 找到video stream的 decoder
    pCodec = avcodec_find_decoder(pCodecCtxOrg->codec_id); 
     // open codec
     if (avcodec_open2(pCodecCtxOrg , pCodec, nullptr) < 0)
     return -1; // Could open codec  

    上述代码,首先通过codec_id找到相应的CODEC,然后调用avcodec_open2打开相应的CODEC。

5. 读取数据帧并解码

已经有了相应的解码器,下面的工作就是将数据从流中读出,并解码为没有压缩的原始数据

AVPacket packet; 
while (av_read_frame(pFormatCtx, &packet) >= 0)
{
        if (packet.stream_index == videoStream)
        {
            int frameFinished = 0;
            avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);
            if (frameFinished)
            {
                doSomething();
            }
        }
        
    } 

上述代码调用av_read_frame将数据从流中读取数据到packet中,并调用avcodec_decode_video2对读取的数据进行解码。

6. 关闭

需要关闭avformat_open_input打开的输入流,avcodec_open2打开的CODEC

    avcodec_close(pCodecCtxOrg);
    avformat_close_input(&pFormatCtx);  

补充

在配置好FFmpeg的开发环境后,在C++中使用FFmpeg的库函数,会出现解析不出函数的名称链接错误,这是由于FFmpeg库是C语言实现,要在C++调用C函数需要 extern "C"的声明。

extern "C"
{
    # include <libavcodec\avcodec.h>
    # include <libavformat\avformat.h>
    # include <libswscale\swscale.h>
}

哎,博客园的Markdown用着好不方便啊,不知道怎么画流程图....

代码 FFmpeg0.cpp

以上是关于FFmpeg学习1:视频解码的主要内容,如果未能解决你的问题,请参考以下文章

零基础学习视频解码之FFMpeg中比较重要的函数以及数据结构(转)

视频学习笔记:Android ffmpeg解码多路h264视频并显示

FFmpeg 入门学习 07--创建音视频解码管理类

音视频编解码——解码:代码实现

第十章 视频播放器开发之音频播放

[音视频处理] FFmpeg使用指北1-视频解码