Hi3516开发笔记：Qt从VPSS中获取通道图像数据存储为jpg文件

Posted 2022-08-13 长沙红胖子Qt

前言

  上一篇已经将himpp套入qt的基础上进行开发。那么qt中拿到frame则是很关键的交互，这是qt与海思可能编解码交叉开发的关键步骤。

<br>

受限制

  因为直接配置sample的vi比较麻烦，确实是困难的，其实就是配置驱动，所以我们只能从开发板的demo入手，去在相等条件下探测可能的留，从vpss中拿取后，进行软编码。
  当然，如果不用qt还有一种方式，也就是大量开发海思人员使用的方式，是基于sample写一个编码程序，然后使用本地socket交互，其实绝大部分海思开发者都是这样开发的，但是他们不涉及与qt的深入交互。

<br>

前提条件

  需要移植ffmpeg到海思平台，可参考博文《FFmpeg开发笔记（十）：ffmpeg在ubuntu上的交叉编译移植到海思HI35xx平台》。

<br>

Demo演示

  从vpss中获取一帧图像，如下图：
  
  

<br>

相关的API

  (原本整理了一大半自己的习惯格式，后续海思看多了，觉得海思文档也还行，就是争对性的开发，无用信息有点多，所以此处还是用海思的文档，但是只提取涉及的部分，海思文档是个庞大的体系，需要动手，光看是很难理解的)。

HI_MPI_VPSS_GetChnFrame：从通道获取一帧处理完的数据

  用户从通道获取一帧处理完成的图像，必须与HI_MPI_VPSS_ReleaseChnFrame()配对使用。

函数原型

HI_S32 HI_MPI_VPSS_GetChnFrame(VPSS_GRP VpssGrp,
                               VPSS_CHN VpssChn，
                               VIDEO_FRAME_INFO_S *pstVideoFrame,
                               HI_S32 s32MilliSec);

• 参数一：VpssGrou，通道组号，海思芯片通道号，
  取值[0, VPSS_MAX_GRP_NUM]；
• 参数二：VpssChn，通道号，通道组下的通道号，
  取值[0, VPSS_MAX_CHN_NUM]；
• 参数三：pstVideoFrame，帧数据的结构体，要取的数据就在这个帧里面，这
  是很关键的结构体，稍后是会深入讲解的重点；
• 参数四：s32MilliSec，阻塞时间，跟其他阻塞有点区别，-1为阻塞，0为直
  接获取，其他整数位等待的超时时间。

  返回值

    

  其他注意

    

  HI_MPI_VPSS_ReleaseChnFrame：释放一帧图像

    释放之前通过HI_MPI_VPSS_GetChnFrame获取获取的图像。

  函数原型

  HI_S32 HI_MPI_VPSS_ReleaseChnFrame (VPSS_GRP VpssGrp,
                                  VPSS_CHN VpssChn,
                                  const VIDEO_FRAME_INFO_S *pstVideoFrame);

• 参数一：VpssGrou，通道组号，海思芯片通道号，
  取值[0, VPSS_MAX_GRP_NUM]，之前获取使用的是哪个就哪个；
• 参数二：VpssChn，通道号，通道组下的通道号，
  取值[0, VPSS_MAX_CHN_NUM]；之前获取使用的是哪个就哪个；
• 参数三：pstVideoFrame，帧数据的结构体，要取的数据就在这个帧里面，这
  是很关键的结构体，稍后是会深入讲解的重点；

  返回值

    

  其他注意

    

<br>

相关的结构体

VIDEO_FRAME_INFO_S：定义视频图像帧信息结构体

结构体原型

typedef struct hiVIDEO_FRAME_INFO_S

    VIDEO_FRAME_S stVFrame;     // 视频图像帧
    HI_U32 u32PoolId;           // 视频缓存池ID
    MOD_ID_E enModId;           // 当前帧数据是由哪一个硬件逻辑模块写出的
 VIDEO_FRAME_INFO_S;

VIDEO_FRAME_S：定义视频原始图像帧结构体

结构体原型

typedef struct hiVIDEO_FRAME_S

    HI_U32 u32Width;                    // 图像宽度
    HI_U32 u32Height;                   // 图像高度
    VIDEO_FIELD_E enField;              // 帧场模式
    PIXEL_FORMAT_E enPixelFormat;       // 视频图像像素格式
    VIDEO_FORMAT_E enVideoFormat;       // 视频图像格式
    COMPRESS_MODE_E enCompressMode;     // 视频压缩模式
    DYNAMIC_RANGE_E enDynamicRange;     // 动态范围
    COLOR_GAMUT_E enColorGamut;         // 色域范围
    HI_U32 u32HeaderStride[3];          // 图像压缩头跨距
    HI_U32 u32Stride[3];                // 图像数据跨距
    HI_U32 u32ExtStride[3];             // 10bit数据位宽的图像，部分格式分开存
    HI_U64 u64HeaderPhyAddr[3];         // 压缩头物理地址
    HI_U64 u64HeaderVirAddr[3];         // 压缩头虚拟地址，内核态虚拟地址
    HI_U64 u64PhyAddr[3];               // 图像数据物理地址
    HI_U64 u64VirAddr[3];               // 图像数据虚拟地址，内核态虚拟地址
    HI_U64 u64ExtPhyAddr[3];            // 10bit数据位宽度的图像，部分格式分开存
    HI_U64 u64ExtVirAddr[3];            // 10bit数据位宽度的图像，部分格式分开存
   HI_S16 s16OffsetTop;                 // 图像顶部剪裁宽度
    HI_S16 s16OffsetBottom;             // 图像底部剪裁宽度
    HI_S16 s16OffsetLeft;               // 图像左侧剪裁宽度
    HI_S16 s16OffsetRight;              // 图像右侧剪裁宽度
    HI_U32 u32MaxLuminance;             // 显示图像的最大亮度
    HI_U32 u32MinLuminance;             // 显示图像的最小亮度
    HI_U32 u32TimeRef;                  // 图像帧序列号
    HI_U64 u64PTS;                      // 图像时间戳
    HI_U64 u64PrivateData;              // 私有数据
   HI_U32 u32FrameFlag;                 // 当前帧的标记，使用FRAME_FLAG_E标记
    VIDEO_SUPPLEMENT_S stSupplement;    // 图像的补充信息
 VIDEO_FRAME_S;

其他注意

  

<br>

相关枚举

VIDEO_FIELD_E：帧场模式

  

PIXEL_FORMAT_E：视频图像像素格式

  
  

VIDEO_FORMAT_E：视频图像格式

  

COMPRESS_MODE_E：视频压缩模式

  

DYNAMIC_RANGE_E：动态范围

  

COLOR_GAMUT_E：色域范围

  

VIDEO_SUPPLEMENT_S：图像的补充信息

  

<br>

Demo

void HiMppManager::testGetVPssFrame()

    VIDEO_FRAME_INFO_S videoFrameInfoS;
#if 0
    // 搜索开开发板用了哪个通道（应该只有2个摄像头，绑定了vpss）
    // 结果：探测到开发板在snap抓图模式下在通道组0通道0下有图片
    for(int groupIndex = 0; groupIndex < VPSS_MAX_GRP_NUM; groupIndex++)
    
        for(int channelIndex = 0; channelIndex < VPSS_MAX_CHN_NUM; channelIndex++)
        
            HI_S32 s32MilliSec = 100;
            HI_S32 ret = HI_MPI_VPSS_GetChnFrame(groupIndex, channelIndex, &videoFrameInfoS, s32MilliSec);
            if(ret == 0)
            
                LOG << QString("Succeed to get HI_MPI_VPSS_GetChnFrame(%1, %2, &videoFrameInfoS, %3)")
                       .arg(groupIndex)
                       .arg(channelIndex)
                       .arg(s32MilliSec);
                break;
#if 0
            else
                LOG <<  QString("Failed to get HI_MPI_VPSS_GetChnFrame(%1, %2, &videoFrameInfoS, %3): %4")
                        .arg(groupIndex)
                        .arg(channelIndex)
                        .arg(s32MilliSec)
                        .arg(ret);
#endif
            

        
    
#endif
    while(HI_MPI_VPSS_GetChnFrame(0, 0, &videoFrameInfoS, -1) == 0)
    
        LOG << "get frame";
        LOG << videoFrameInfoS.stVFrame.enPixelFormat
            << "PIXEL_FORMAT_YVU_PLANAR_420:" << (int)PIXEL_FORMAT_YVU_PLANAR_420
            << "PIXEL_FORMAT_YVU_SEMIPLANAR_420:" << (int)PIXEL_FORMAT_YVU_SEMIPLANAR_420;
        LOG << videoFrameInfoS.stVFrame.enVideoFormat;
        HI_MPI_VPSS_ReleaseChnFrame(0, 0, &videoFrameInfoS);
        LOG << "release frame";    

<br>

入坑

入坑一：获取vpss图像一定帧数后无法再获取

问题

  使用海思sdk获取图像后，多次获取后，大概20次左右就获取失败了。

原因

  海思获取图像后，需要释放，是占用了缓存区。
  海思的HI_MPI_VPSS_GetChanFrame与Hi_MPI_VPSS_ReleaseChnFrame要成对使用。

解决方法