基于 FFMPEG 的视频解码（libavcodec ，致敬雷霄骅）

Posted 2022-01-03 liyuanbhu

基于 FFMPEG 的视频解码（libavcodec ，致敬雷霄骅）

本文参考了雷博士的博客：

最简单的基于FFMPEG+SDL的视频播放器：拆分-解码器和播放器

基本上雷博士这篇博客已经把这个问题讲的挺清楚了。但是 ffmpeg 新版本的 API 有变化，这篇博客的代码已经无法直接编译运行。所以我写了今天这篇博客，用 新的 API 实现了视频解码的功能。

雷博士的代码除了视频解码还有音频解码，同时还利用 SDL 把视频显示出来了。 我觉得作为初学者还是每次学习的内容不要太多。既然我们的重点是视频解码，那就用最精简的代码来实现视频解码。这样我们的学习曲线才不会太陡峭。

前面几篇博客讲解了 libavformat 和 libswscale 这两个库的使用方法。所以这篇博客里不会再讲解相应的代码功能。如果有同学对我代码里涉及这两个库的用法不明白，可以先读读我的前几篇博客：

最简单的基于FFMPEG的封装格式转换器

基于 FFMPEG 的像素格式变换

libavcodec 的核心是 AVCodec 和 AVCodecContext。AVCodec 是具体的编解码器，AVCodecContext 则是编解码时所需的上下文环境。一个 AVStream 要对应一个AVCodecContext，一个 AVCodecContext 要关联上一个 AVCodec 。实际使用时有可能会有多个 AVCodecContext 关联同一个 AVCodec 的情况。尤其是我们解码音频的时候。比如我们的音频文件时 5.1声道的。通常会对应 3 个 AVStream。左右声道在一个 AVStream 里，环绕声在一个 AVStream，最后低音在另一个AVStream。 3 个AVStream的编码可能是相同的。那么我们要解码这个音频文件时就应该建立 3 个 AVCodecContext ，分别对应三个 AVStream。然后只需要有 1 个 AVCodec 。每个 AVCodecContext 都利用这一个 AVCodec 来解码。

上面是以音频解码为例，实际上视频解码也可能是这样的。比如我们有一个 3D 视频，里面就会有 2 个视频 AVStream，分别对应我们左眼和右眼看到的图像。这两个视频通常编码格式是相同的，所以可以公用一个 AVCodec 。但是一定要用两个 AVCodecContext 。

下面是解码前的准备工作，先要生成 AVCodec 和 AVCodecContext 的实例并打开。

AVCodecParameters * codecpar = pFormatCtx->streams[0]->codecpar;
AVCodec	*pCodec = avcodec_find_decoder(codecpar->codec_id);
if(pCodec == nullptr) qWarning() << "Cannot find_decoder";
AVCodecContext	*pCodecCtx = avcodec_alloc_context3(pCodec);
if(pCodecCtx == nullptr) qWarning() << "Cannot alloc pCodecCtx";
avcodec_parameters_to_context(pCodecCtx, codecpar);
if(avcodec_open2(pCodecCtx, pCodec, nullptr) < 0)

    printf("Could not open AVCodec.\\n");
    exit(1);

到这里Codec 就建好了。所谓解码就是把一个 AVPacket 中的数据解成 AVFrame。简单的说 AVFrame 是原始的，没有编码、没有压缩的数据，编码压缩之后的数据叫做 AVPacket 。

那么，一个 AVPacket 是对应一个 AVFrame 吗？从逻辑上讲是这样的，但是实际上，经常我们有了一个 AVPacket ，却并不能当时就解出 AVFrame 来。因为我们知道视频帧 分为 I帧，P帧和 B 帧。如果 一个 AVPacket 里面的数据是 I帧 那么我们就可以直接解出 AVFrame 。P帧 需要参考前一帧的数据，B 帧还需要有后一帧的数据才能解码。所以我们会遇到前几个 AVPacket 解不出数据。到了某个 AVPacket ，可以连续解出多个 AVFrame 来的情况。这时这 多个 AVFrame 就包括前面积压的 AVPacket 里的数据。

在旧版 FFMPEG 中，是用下面这个函数来解码。

int avcodec_decode_video2(AVCodecContext *avctx, AVFrame *picture,
                         int *got_picture_ptr,
                         const AVPacket *avpkt);

这里 got_picture_ptr 就是标明是否可以从当前帧解出 AVFrame。

下面的代码片段来自雷博士的博客：https://blog.csdn.net/leixiaohua1020/article/details/46889389

这个代码给出了一个解码的框架。

while(av_read_frame(pFormatCtx, packet) >=0 )

	if(packet->stream_index == videoindex)
	
		ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
		if(ret < 0)
		
			printf("Decode Error.\\n");
			return -1;
		
		if(got_picture)
		
			// 到这里表示成功解出一个 Frame，可以用这个 Frame 中的数据做我们正式的工作了
			printf("Flush Decoder: Succeed to decode 1 frame!\\n");

		
	
	av_free_packet(packet);

//flush decoder
//FIX: Flush Frames remained in Codec
while (1) 

	ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
	if (ret < 0)
		break;
	if (!got_picture)
		break;
	// 到这里表示成功解出一个 Frame，可以用这个 Frame 中的数据做我们正式的工作了
	printf("Flush Decoder: Succeed to decode 1 frame!\\n");

这个代码里后面多了一个 while() 循环，就是解决 Codec 中积存的 Frame 问题。

我个人猜测，可能就是由于解码代码中必须要多这一段，让人总感觉这代码不那么清爽。所以 ffmpeg 的作者才把 avcodec_decode_video2() 函数给废弃了的。我们的新代码中应该使用如下两个函数：

int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);
int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);

简单的说这两个函数就是解决了 avcodec_decode_video2() 函数强制要求 Packet 和 Frame 一对一的问题。让我们可以往Codec 推一个 Packet ，然后读出多个 frame 来。当然，这多个 frame 并不是真的是从这个 packet 里解出来的，还可能包括以前推到 Codec 里的其他 packet 的的数据。

新版的这两个函数的用法可以参考 ffmpeg 自带的例子代码 demuxing_decoding.c。 代码片段如下：

while (av_read_frame(fmt_ctx, pkt) >= 0) 
    // check if the packet belongs to a stream we are interested in, otherwise
    // skip it
    if (pkt->stream_index == video_stream_idx)
        ret = decode_packet(video_dec_ctx, pkt);
    else if (pkt->stream_index == audio_stream_idx)
        ret = decode_packet(audio_dec_ctx, pkt);
    av_packet_unref(pkt);
    if (ret < 0)
        break;

解码操作集中在 decode_packet() 函数中了，调用一次 avcodec_send_packet() 将一个 packet 推给Codec，然后 调用一次或多次 avcodec_receive_frame() 来获得 frame：

static int decode_packet(AVCodecContext *dec, const AVPacket *pkt)

    int ret = 0;

    // submit the packet to the decoder
    ret = avcodec_send_packet(dec, pkt);
    if (ret < 0) 
        fprintf(stderr, "Error submitting a packet for decoding (%s)\\n", av_err2str(ret));
        return ret;
    

    // get all the available frames from the decoder
    while (ret >= 0) 
        ret = avcodec_receive_frame(dec, frame);
        if (ret < 0) 
            // those two return values are special and mean there is no output
            // frame available, but there were no errors during decoding
            if (ret == AVERROR_EOF || ret == AVERROR(EAGAIN))
                return 0;

            fprintf(stderr, "Error during decoding (%s)\\n", av_err2str(ret));
            return ret;
        

        // write the frame data to output file
        if (dec->codec->type == AVMEDIA_TYPE_VIDEO)
            ret = output_video_frame(frame);
        else
            ret = output_audio_frame(frame);

        av_frame_unref(frame);
        if (ret < 0)
            return ret;
    

    return 0;

仿照这个代码，我做了一个小例子，这个小例子中，我将视频帧存到图像文件中。当然，一个视频文件的帧数很多，全都存文件太占硬盘空间了。所以我是每隔 10 帧存一幅图像。并且也不是从视频的开始就存，而是 seek 到了一个比较靠后的地方。存图像这个操作我用到了 Qt 的 QImage 类。没有用过 Qt 的同学可以忽略那一两行代码。不过Qt 真的很好用，建议有点 C++ 基础的同学都可以学学。

void save(AVFrame *pFrame, int frameCount)

    int srcWidth = pFrame->width;
    int srcHeight = pFrame->height;
    AVPixelFormat srcFormat = (AVPixelFormat)pFrame->format;

    struct SwsContext *imageConvertContex = sws_getContext(srcWidth, srcHeight, srcFormat,
                                                        srcWidth, srcHeight, AV_PIX_FMT_RGB24,
                                                        SWS_BICUBIC, nullptr, nullptr, nullptr);

    QImage image(srcWidth, srcHeight, QImage::Format_RGB888);
    uint8_t *out_data[1];
    int out_linesize[1];
    av_image_fill_arrays(out_data, out_linesize, image.bits(), AV_PIX_FMT_RGB24, srcWidth, srcHeight, 1);


    //转格式
    sws_scale(imageConvertContex,
        pFrame->data, pFrame->linesize, 0, srcHeight,
        out_data, out_linesize);

    if(imageConvertContex) sws_freeContext(imageConvertContex);
    QString fileName = QString("d:/AV_%1.jpg").arg(frameCount);
    image.save(fileName);

int decode_packet(AVCodecContext *dec, const AVPacket *pkt, AVFrame	*pFrame)

    static int frameCount = 0;
    int ret = 0;

    //avcodec_decode_video2();
    // submit the packet to the decoder
    ret = avcodec_send_packet(dec, pkt);
    if (ret < 0) 
        //fprintf(stderr, "Error submitting a packet for decoding (%s)\\n", av_err2str(ret));
        return ret;
    

    // get all the available frames from the decoder
    while (ret >= 0) 
        ret = avcodec_receive_frame(dec, pFrame);
        if (ret < 0) 
            // those two return values are special and mean there is no output
            // frame available, but there were no errors during decoding
            if (ret == AVERROR_EOF || ret == AVERROR(EAGAIN))
                return 0;

            //fprintf(stderr, "Error during decoding (%s)\\n", av_err2str(ret));
            return ret;
        
        frameCount ++;

        // write the frame data to output file
        if(frameCount % 10 == 1)
        
            qDebug() <<(AVPixelFormat) pFrame->format << ", packetCount = " << packetCount << ", frameCount = " << frameCount;
            save(pFrame, frameCount);
        

        av_frame_unref(pFrame);
    

    return 0;



void test03()

    const char * filename = "D:\\\\AV36_1.avi";
    AVFormatContext *pFormatCtx = avformat_alloc_context();
    msg("avformat_open_input",
        avformat_open_input(&pFormatCtx, filename, nullptr, nullptr));
    msg("avformat_find_stream_info",
        avformat_find_stream_info(pFormatCtx, nullptr));
    av_dump_format(pFormatCtx, 0, filename, 0);

    AVCodecParameters * codecpar = pFormatCtx->streams[0]->codecpar;
    AVCodec	*pCodec = avcodec_find_decoder(codecpar->codec_id);
    if(pCodec == nullptr) qWarning() << "Cannot find_decoder";
    AVCodecContext	*pCodecCtx = avcodec_alloc_context3(pCodec);
    if(pCodecCtx == nullptr) qWarning() << "Cannot alloc pCodecCtx";
    avcodec_parameters_to_context(pCodecCtx, codecpar);
    if(avcodec_open2(pCodecCtx, pCodec, nullptr) < 0)
    
        printf("Could not open AVCodec.\\n");
        exit(1);
    
    av_seek_frame(pFormatCtx, -1, 30 * AV_TIME_BASE, AVSEEK_FLAG_BACKWARD);
    AVPacket pkt;
    while (1)
    
        int ret = av_read_frame(pFormatCtx, &pkt);
        if (ret < 0)  break;

        if (pkt.stream_index != 0)
        
            av_packet_unref(&pkt);
            continue;
        
        AVFrame	*pFrame = av_frame_alloc();
        AVFrame *pFrameRGB32 = av_frame_alloc();

        packetCount++;
        decode_packet(pCodecCtx, &pkt, pFrame);

        av_frame_free(&pFrameRGB32);
        av_frame_free(&pFrame);
        av_packet_unref(&pkt);
    
    avformat_close_input(&pFormatCtx);

输出结果如下，总共保存了 5 张图片：

avformat_open_input : success.
avformat_find_stream_info : success.
Input #0, avi, from 'D:\\AV36_1.avi':
  Duration: 00:00:32.93, start: 0.000000, bitrate: 2372 kb/s
  Stream #0:0: Video: indeo5 (IV50 / 0x30355649), yuv410p, 320x240, 2058 kb/s, 15 fps, 15 tbr, 15 tbn, 15 tbc
    Metadata:
      title           : Steyr.avi ���#1
  Stream #0:1: Audio: adpcm_ms ([2][0][0][0] / 0x0002), 22050 Hz, 2 channels, s16, 176 kb/s
    Metadata:
      title           : Sound Forge 4.0 Audio
AV_PIX_FMT_YUV410P, packetCount = 1, frameCount = 1
AV_PIX_FMT_YUV410P, packetCount = 11, frameCount = 11
AV_PIX_FMT_YUV410P, packetCount = 21, frameCount = 21
AV_PIX_FMT_YUV410P, packetCount = 31, frameCount = 31
AV_PIX_FMT_YUV410P, packetCount = 41, frameCount = 41

好了，这一讲就讲这么多。下一篇博客准备将这篇博客的内容用 C++ 来封装一下。封装之后的代码会极度的清爽。请大家拭目以待。