ffmpeg + cuda(cuvid) 硬解码+像素格式转换(cpu主导)实战
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ffmpeg + cuda(cuvid) 硬解码+像素格式转换(cpu主导)实战相关的知识,希望对你有一定的参考价值。
参考技术Acuvid 与 VDPAU 是平级的东西,不能拿来直接使用,使用成本太大
note:
note
Note: For Video Codec SDK 7.0 and later, NVCUVID has been renamed to NVDECODE API.
这是我第一次使用的方式,模仿 cpu 上软解码(获取视频帧,并存储为bmp格式,经验原则,这种方式最容易想到)
运行结果:
失败,bad src img pointers
运行结果如下图所示:
问题原因:
gpu 不支持 sws_scale + AV_PIX_FMT_CUDA-> AV_PIX_FMT_BGR24 的直接像素转换方式,那么 能否直接在gpu中直接转化 AV_PIX_FMT_CUDA 为 AV_PIX_FMT_BGR24呢?
如果可以直接实现,性能会有很大提升,因为减少了device->host 的数据传输,且gpu多核心并行处理,肯定比cpu处理性能要强悍。
运行结果:
失败,像素没对齐,只有亮度
运行结果如下图所示:
![预先设置内存中frame目标像素格式为 AV_PIX_FMT_BGR24]
问题原因:
如下图所示:
所以gdb了下源码,发现src->frame->format 转换为 dst->frame->format 的受限范围很小,然后找出了 av_hwframe_transfer_get_formats 支持的formats,
调试过程如下所示:
gdb -tui hw_decode_cuvid (-tui 支持查看源码)
在调用 av_hwframe_transfer_data() 函数处打上断点,且设置程序运行所需参数
run 程序,step 进入函数调用栈
n 单步运行,函数调用至 transfer_data_alloc()
发现 av_hwframe_transfer_get_formats()函数
更改 dst->format 的值为<0的值,并打印支持的像素转换列表
可以看到只支持 gpu 硬件像素编码格式->AV_PIX_FMT_NV12 的转换
运行结果:
成功,如下图所示:
GPU编解码GPU硬解码---DXVA
【GPU编解码】GPU硬解码---DXVA
前面介绍利用NVIDIA公司提供的CUVID库进行视频硬解码,下面将介绍利用DXVA进行硬解码。
一、DXVA介绍
DXVA是微软公司专门定制的视频加速规范,是一种接口规范。DXVA规范制定硬件加速解码可分四级:VLD,控制BitStream;IDCT,反余弦变换;Mocomp,运动补偿,Pixel Prediction;PostProc,显示后处理。其中,VLD加速等级最高,所以其包含IDCT、MoCoopm和PostProc;IDCT加速次之,包含MoCoopm和PostProc;最后MoComp加速仅包含PostProc。一款显卡芯片在硬件支持DXVA规范,并不代表它就实现了DXVA所有功能。DXVA_Checker可用于检测硬件所支持的等级,DXVA_Checker运行示意图如下所示。
二、使用FFmpeg中DXVA技术硬解码
基本思路:
1.根据FFmpeg对编码器的描述,实现自定义的硬解码器。
2.通过REGISTER_ENCODEC(X,x)将自定义的视频编码器添加到视频编解码器。
3.在视频解码,根据编码器ID或编码器名称找到视频编解码器中自定义的视频解码器。
4.利用自定义的视频解码器,解码视频。
其关键步骤是:自定义解码器的实现,需要参考FFmpeg源码中,解码器的定义和接口设计。
基于DXVA的自定义解码器实现
1.熟悉FFmpeg中编解码的组织方式
下图是ffmpeg编解码组织的简单示意图。
由示意图可知,编解码器由全局链表组织,可根据编码器的名称或ID,获取编解码器。
编解码器的具体编解码的具体工作,由编解码器定义的函数指针完成。
自定义解码器时,需要按照AVCodec结构体,定义解码器的属性,然后注册到全局编解码器链表中。
2.基于DXVA解码器的定义实现
ff_h264_dxva2_decoder的定义如下:
1 AVCodec ff_h264_dxva2_decoder = { 2 .name = "h264_dxva2", 3 .type = AVMEDIA_TYPE_VIDEO, 4 .id = AV_CODEC_ID_H264, 5 .priv_data_size = sizeof(DXVA2_DecoderContext), 6 .init = h264_dxva2dec_init, 7 .close = h264_dxva2dec_close, 8 .decode = h264_dxva2dec_decode, 9 .capabilities = CODEC_CAP_DELAY, 10 .flush = h264_dxva2dec_flush, 11 .long_name = NULL_IF_CONFIG_SMALL("H.264 (DXVA2 acceleration)"), 12 };
ff_h264_dxva2_decoder的函数指针对应的函数定义如下:
1 static int h264_dxva2dec_decode(AVCodecContext *avctx, void *data, int *got_frame, 2 AVPacket *avpkt) 3 { 4 return ff_dxva2dec_decode(avctx,data,got_frame,avpkt,&ff_h264_decoder); 5 } 6 7 static av_cold int h264_dxva2dec_close(AVCodecContext *avctx) 8 { 9 return ff_dxva2dec_close(avctx,&ff_h264_decoder); 10 } 11 12 static av_cold int h264_dxva2dec_init(AVCodecContext *avctx) 13 { 14 return ff_dxva2dec_init(avctx,&ff_h264_dxva2_decoder,&ff_h264_decoder); 15 } 16 17 static void h264_dxva2dec_flush(AVCodecContext *avctx) 18 { 19 ff_dxva2dec_flush(avctx,&ff_h264_decoder); 20 }
上述代码,只是ff_dxva2dec_init(),ff_dxva2dec_flush(),ff_dxva2dec_decode(),ff_dxva2dec_close()的封装,具体解码的实现,由ff_dxva2dec_xxx相关函数完成,其代码实现如下:
1 static int get_buffer(struct AVCodecContext *avctx, AVFrame *pic)
2 {
3 int ret;
4 DXVA2_DecoderContext *ctx = (DXVA2_DecoderContext *)avctx->priv_data;
5 dxva2_context *dxva2_ctx = &ctx->dxva2_ctx;
6 avctx->pix_fmt = ctx->pix_fmt;
7 ff_init_buffer_info(avctx, pic);
8 if ((ret = ctx->get_buffer(avctx,pic)) < 0) {
9 av_log(avctx, AV_LOG_ERROR, "get_buffer() failed\\n");
10 return ret;
11 }
12 if (dxva2_ctx) {
13 if (av_get_dxva2_surface(dxva2_ctx, pic)) {
14 av_log(NULL, AV_LOG_ERROR, "VaGrabSurface failed");
15 return -1;
16 }
17 return 0;
18 } else {
19 av_log(NULL, AV_LOG_ERROR, "No dxva2 context, get buffer failed");
20 return -1;
21 }
22 }
23
24 static void release_buffer(struct AVCodecContext *avctx, AVFrame *pic)
25 {
26 DXVA2_DecoderContext *ctx = (DXVA2_DecoderContext *)avctx->priv_data;
27 dxva2_context *dxva2_ctx = &ctx->dxva2_ctx;
28 if (dxva2_ctx) {
29 av_release_dxva2_surface(dxva2_ctx, pic);
30 }
31 ctx->release_buffer(avctx,pic);
32 for (int i = 0; i < 4; i++)
33 pic->data[i] = NULL;
34 }
35
36 static enum PixelFormat get_format(AVCodecContext *p_context,
37 const enum PixelFormat *pi_fmt)
38 {
39 return AV_PIX_FMT_DXVA2_VLD;
40 }
41 static int check_format(AVCodecContext *avctx)
42 {
43 uint8_t *pout;
44 int psize;
45 int index;
46 H264Context *h;
47 int ret = -1;
48 AVCodecParserContext *parser = NULL;
49 /* check if support */
50 switch (avctx->codec_id) {
51 case AV_CODEC_ID_H264:
52 /* init parser & parse file */
53 parser = av_parser_init(avctx->codec->id);
54 if (!parser) {
55 av_log(avctx, AV_LOG_ERROR, "Failed to open parser.\\n");
56 break;
57 }
58 parser->flags = PARSER_FLAG_COMPLETE_FRAMES;
59 index = av_parser_parse2(parser, avctx, &pout, &psize, NULL, 0, 0, 0, 0);
60 if (index < 0) {
61 av_log(avctx, AV_LOG_ERROR, "Failed to parse this file.\\n");
62 av_parser_close(parser);
63 }
64 h = parser->priv_data;
65 if (8 == h->sps.bit_depth_luma) {
66 if (!CHROMA444 && !CHROMA422) {
67 // only this will decoder switch to hwaccel
68 av_parser_close(parser);
69 ret = 0;
70 break;
71 }
72 } else {
73 av_log(avctx, AV_LOG_ERROR, "Unsupported file.\\n");
74 av_parser_close(parser);
75 break;
76 }
77 break;
78 case AV_CODEC_ID_MPEG2VIDEO:
79 if (CHROMA_420 == get_mpeg2_video_format(avctx)) {
80 ret = 0;
81 break;
82 } else {
83 av_log(avctx, AV_LOG_ERROR, "Unsupported file.\\n