ffmpeg视频录制

Posted 2020-10-20 snow-boy

前面讲了一下ffmpeg的一些基本概念（ffmpeg中的基本概念），这里说一下如何使用ffmpeg进行视频录制。

 

录制视频的基本步骤是：

1. 初始化ffmpeg的基本对象，并将这些对象关联起来，然后打开文件并写入文件头。

2. 编码视频，并将编码后数据存写到文件中。

3. 写入文件尾，并清理ffmpeg对象。

 

首先，需要初始化ffmpeg的一些对象，初始化的顺序为：

创建并初始化AVOutputFormat， 基于AVOutputFormat创建并初始化AVFormatContext。

然后查找AVCodec, 基于找到的AVCodec创建并初始化AVCodecContext，打开AVCodec。

然后基于找到的AVCodec创建AVStream。

然后创建并初始化AVIOContext。

其中AVStream, AVCodec, AVCodecContext可能会有两组，一组用来录制音频，一组用来录制视频，如下：

 

AVOutputFormat和AVFormatContext可以通过avformat_alloc_output_context函数来初始化。

AVCodec通过avcodec_find_encoder函数来查找

AVCodecContext通过avcodec_alloc_context3来分配

AVCodecContext初始化完成后，可以通过avcodec_open2打开编码器

AVStream通过avformat_new_stream来分配

以上对象初始化完成后，需要将codec的信息拷贝到AVFormatContext对象中，以便与将编码器信息存储到文件中，这个操作可以通过avcodec_parameters_from_context操作

最后通过avio_open打开文件并初始化AVIOContext。

最后通过avformat_write_header写入文件头，整个初始化阶段就算是完成了

以下初始化代码供参考：

 1     avformat_alloc_output_context2(&format_context_, nullptr, nullptr, file_path.c_str());
 2     if(format_context_ == nullptr){
 3         avformat_alloc_output_context2(&format_context_, nullptr, "mpeg", file_path.c_str());
 4     }
 5 
 6     if(format_context_ == nullptr){
 7         return false;
 8     }
 9 
10     AVOutputFormat *output_format = format_context_->oformat;
11     output_format->video_codec = AV_CODEC_ID_H264;
12 
13     AVCodec *codec = avcodec_find_encoder(output_format->video_codec);
14 
15     codec_context_ = avcodec_alloc_context3(codec);
16     codec_context_->codec_id = output_format->video_codec;
17     codec_context_->pix_fmt = AV_PIX_FMT_YUV420P;
18     codec_context_->width = width;
19     codec_context_->height = height;
20     codec_context_->time_base = {1, 1000};
21     codec_context_->gop_size = 12;
22     if (codec_context_->codec_id == AV_CODEC_ID_MPEG2VIDEO){
23         codec_context_->max_b_frames = 2;
24     }
25     if (codec_context_->codec_id == AV_CODEC_ID_MPEG1VIDEO){
26         codec_context_->mb_decision = 2;
27     }
28 
29     if (output_format->flags & AVFMT_GLOBALHEADER)
30         codec_context_->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
31 
32     int ret = avcodec_open2(codec_context_, codec, nullptr);
33     if(ret != 0){
34         return false;
35     }
36 
37     video_stream_ = avformat_new_stream(format_context_, codec);
38     if(video_stream_ == nullptr){
39         return false;
40     }
41 
42     ret = avcodec_parameters_from_context(video_stream_->codecpar, codec_context_);
43     if(ret != 0){
44         return false;
45     }
46 
47     ret = avio_open(&format_context_->pb, file_path.c_str(), AVIO_FLAG_WRITE);
48     if(ret != 0){
49         return false;
50     }
51 
52     ret = avformat_write_header(format_context_, nullptr);
53     if(ret != 0){
54         return false;
55     }

注意，有些编码器只支持一些固定的帧率，对于这样的编码器，AVCodecContext中的time_base是不能随便设置的，当写文件头失败时，可以检查一下这一点

 

初始化完成后，就可以进行视频编码录制了，跟初始化相比，编码录制的过程要简单的多，核心函数就三个：

avcodec_send_frame进行视频编码

avcodec_receive_packet用于获取编码后的数据

av_write_frame用于将编码后的数据写入文件

以下代码供参考：

 1 av_image_fill_arrays(src_frame_->data, src_frame_->linesize, data,
 2                          AV_PIX_FMT_RGB24, src_frame_->width, src_frame_->height, 1);
 3 
 4     sws_scale(sws_context_, src_frame_->data, src_frame_->linesize, 0, src_frame_->height,
 5               dst_frame_->data, dst_frame_->linesize);
 6 
 7     auto now_time = std::chrono::steady_clock::now();
 8     dst_frame_->pts = std::chrono::duration_cast<std::chrono::milliseconds>(now_time - start_time_point_).count();
 9 
10     int ret = avcodec_send_frame(codec_context_, dst_frame_);
11     if(ret == 0){
12         AVPacket packet;
13         av_init_packet(&packet);
14         ret = avcodec_receive_packet(codec_context_, &packet);
15         if(ret == 0){
16             av_packet_rescale_ts(&packet, codec_context_->time_base, video_stream_->time_base);
17             av_write_frame(format_context_, &packet);
18         }
19         av_packet_unref(&packet);
20     }

这里的第16行注意一下，将编码后的数据写入文件之前，一定要进行时间转换，否则播放视频时会出现视频播放速度太快的问题

 

最后就是结束录制了，这个过程就不用多说了，看代码：

 1 if(format_context_ != nullptr){
 2         av_write_trailer(format_context_);
 3     }
 4 
 5     if(sws_context_ != nullptr){
 6         sws_freeContext(sws_context_);
 7         sws_context_ = nullptr;
 8     }
 9 
10     if(codec_context_ != nullptr){
11         avcodec_close(codec_context_);
12         avcodec_free_context(&codec_context_);
13     }
14 
15     if(format_context_ != nullptr){
16         avio_close(format_context_->pb);
17 
18         avformat_free_context(format_context_);
19         format_context_ = nullptr;
20     }

 

（注意：以上所有代码都是仅供参考，并不是完整代码）