RKMPP API安装使用总结

Posted Geek.Fan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了RKMPP API安装使用总结相关的知识,希望对你有一定的参考价值。

RKMPP库简介

        MPP库是Rockchip根据自己的硬编解码器开发的应用程序编解码库,如果想达到最好的效果,必须要通过librockchip_mpp来直接编码实现编解码。gstreamer和ffmpeg都会因为兼容api的原因,徒增几次无用的帧拷贝动作,并且使用的都是虚拟地址。在上一篇RGA的教学中,我们知道纯物理连续地址的硬件操作是非常快的,转到虚拟地址后效率就会降低。如果想榨干Toybrick的性能,开发最完美的代码,纯连续的物理Buffer、mpp+rga是离不开的。

        Mpp的API思路其实跟目前绝大多数的编解码库是一致的,都是queue/dequeue的队列操作方式,先设置好编解码状态,然后不停的queue/dequeue input/output buffer就可以实现编解码控制了。如果大家熟悉FFMPEG,那学习MPP会非常容易,MPP和FFMPEG的api非常相像。

RKMPP库安装方式

第一种: dnf 安装

sudo dnf install librockchip_mpp-devel

第二种: 源码编译安装

MPP库源码下载地址

https://github.com/rockchip-linux/mpp

MPP兼容的gstreamer源码下载地址

https://github.com/rockchip-linux/gstreamer-rockchip

        如果大家习惯使用gstreamer或者ffmpeg的接口的话,可以直接使用以上源码进行快速开发或代码迁移。但是这两个库已经交给开源社区维护了,遇到问题大家只能自己按着源码自己去debug。不是很建议项目中去使用。

MPP编译

1. (没有交叉编译环境的建议还是直接放在板子上编译) cd 到build目录里对应平台的目录

cd build/linux/aarch64

2. 如果是交叉编译环境,需要修改该目录下编译链的配置。然后执行编译脚本。

./make-Makefiles.bash

MPP API使用

解码范例在mpp源码内:test/mpi_dec_test.c

编码范例在mpp源码内:test/mpi_enc_test.c

1. 创建 MPP context 和 MPP api 接口。 (注意,和RGA一样,多个线程多个实例需要多个独立的的context)

ret = mpp_create(&ctx, &mpi);</p><p>if (MPP_OK != ret)

mpp_err("mpp_create faiLED\\n");

goto MPP_TEST_OUT;

2. 设置一些MPP的模式(这里设置的是 MPP_DEC_SET_PARSER_SPLIT_MODE)

mpi_cmd = MPP_DEC_SET_PARSER_SPLIT_MODE;
param = &need_split;
ret = mpi->control(ctx, mpi_cmd, param);
if (MPP_OK != ret) 
   mpp_err("mpi->control failed\\n");
   goto MPP_TEST_OUT;

        常用设置的一些模式解释如下:(其余的可以看MPP自带的开发文档,在doc目录下有详细说明)

MPP_DEC_SET_PARSER_SPLIT_MODE : (仅限解码)

        自动拼包(建议开启),硬编解码器每次解码就是一个Frame,所以如果输入的数据不确定是不是一个Frame(例如可能是一个Slice、一个Nalu或者一个FU-A分包,甚至可能随意读的任意长度数据),那就必须把该模式打开,MPP会自动分包拼包成一个完整Frame送给硬解码器。

MPP_DEC_SET_IMMEDIATE_OUT: (仅限解码)

        立即输出模式(不建议开启),如果未开立即输出模式,MPP会按预先设定的节奏间隔输出解码的帧(例如33ms输出一帧)。但是实际硬件解码过程并不是均匀输出的,有时候两帧间隔可能就1ms一下子输出2-3帧,有时候两帧间又会有较长的间隔。如果打开立即输出模式,MPP就会在解码成功后立即输出一帧,那后续处理显示的节奏就需要用户自己控制。该模式适用于一些对实时性要求比较高的客户产品,需要自己把握输出节奏。

MPP_SET_INPUT_BLOCK:
MPP_SET_INTPUT_BLOCK_tiMEOUT:
MPP_SET_OUTPUT_BLOCK:
MPP_SET_OUTPUT_BLOCK_TIMEOUT:

        设置输入输出的block模式,如果block模式打开,喂数据时候会block住直到编解码成功入队列或者出队列或者达到TIMEOUT时间,才会返回。

3. 初始化 MPP

ret = mpp_init(ctx, MPP_CTX_DEC, MppCodingType::MPP_VIDEO_CodingAVC);
if (MPP_OK != ret) 
   mpp_err("mpp_init failed\\n");
   goto MPP_TEST_OUT;

初始化编码还是解码,以及编解码的格式。

MPP_CTX_DEC : 解码

MPP_CTX_ENC : 编码

MPP_VIDEO_CodingAVC : H.264

MPP_VIDEO_CodingHEVC : H.265

MPP_VIDEO_CodingVP8 : VP8

MPP_VIDEO_CodingVP9 : VP9

MPP_VIDEO_CodingMJPEG : MJPEG

等等,详细参看rk_mpi.h定义

4. 解码的话到这里初始化就完成了,编码的话需要多设置一些参数

设置编码宽高、对齐后宽高参数

mPrepCfg.change = MPP_ENC_PREP_CFG_CHANGE_INPUT | MPP_ENC_PREP_CFG_CHANGE_FORMAT;
   mPrepCfg.width = mWidth;
   mPrepCfg.height = mHeight;
   mPrepCfg.hor_stride = mHStride;
   mPrepCfg.ver_stride = mVStride;
   mPrepCfg.format = mFrameFormat;</p><p>   int ret = mMppApi->control(mMppCtx, MPP_ENC_SET_PREP_CFG, &mPrepCfg);

 设置编码码率、质量、定码率变码率:

mRcCfg.change = MPP_ENC_RC_CFG_CHANGE_ALL;
/*
    * rc_mode - rate control mode
    * Mpp balances quality and bit rate by the mode index
    * Mpp provide 5 level of balance mode of quality and bit rate
    * 1 - only quality mode: only quality parameter takes effect
    * 2 - more quality mode: quality parameter takes more effect
    * 3 - balance mode     : balance quality and bitrate 50 to 50
    * 4 - more bitrate mode: bitrate parameter takes more effect
    * 5 - only bitrate mode: only bitrate parameter takes effect
    */
   if (mIsCBR) 
       mRcCfg.rc_mode = (MppEncRcMode) MPP_ENC_RC_MODE_CBR;
    else 
       mRcCfg.rc_mode = (MppEncRcMode) MPP_ENC_RC_MODE_VBR;
   
 /*
    * quality - quality parameter
    * mpp does not give the direct parameter in different protocol.
    * mpp provide total 5 quality level 1 ~ 5
    * 0 - auto
    * 1 - worst
    * 2 - worse
    * 3 - medium
    * 4 - better
    * 5 - best
    */
   if (mQuality > 4) 
       mRcCfg.quality = (MppEncRcQuality)MPP_ENC_RC_QUALITY_BEST;
    else 
       mRcCfg.quality = (MppEncRcQuality)mQuality;
   
   int bps = mBps;
   switch (mRcCfg.rc_mode) 
       case MPP_ENC_RC_MODE_CBR:
           // constant bitrate has very small bps range of 1/16 bps
           mRcCfg.bps_target = bps;
           mRcCfg.bps_max = bps * 17 / 16;
           mRcCfg.bps_min = bps * 15 / 16;
           break;
       case MPP_ENC_RC_MODE_VBR:
           // variable bitrate has large bps range
           mRcCfg.bps_target = bps;
           mRcCfg.bps_max = bps * 3 / 2;
           mRcCfg.bps_min = bps * 1 / 2;
           break;
       default:
           abort();
   
  /* fix input / output frame rate */
   mRcCfg.fps_in_flex      = 0;
   mRcCfg.fps_in_num       = mFps;
   mRcCfg.fps_in_denorm    = 1;
   mRcCfg.fps_out_flex     = 0;
   mRcCfg.fps_out_num      = mFps;
   mRcCfg.fps_out_denorm   = 1;</p><p>   mRcCfg.gop              = mIInterval; /* i frame interval */
   mRcCfg.skip_cnt         = 0;</p><p>   int ret = mMppApi->control(mMppCtx, MPP_ENC_SET_RC_CFG, &mRcCfg);
设置264相关的其他编码参数:
mCodecCfg.h264.change = MPP_ENC_H264_CFG_CHANGE_PROFILE |
                           MPP_ENC_H264_CFG_CHANGE_ENTROPY |
                           MPP_ENC_H264_CFG_CHANGE_TRANS_8x8 |
                           MPP_ENC_H264_CFG_CHANGE_QP_LIMIT;
   /*
    * H.264 profile_idc parameter
    * 66  - Baseline profile
    * 77  - Main profile
    * 100 - High profile
    */
   mCodecCfg.h264.profile  = 100;
   /*
    * H.264 level_idc parameter
    * 10 / 11 / 12 / 13    - qcif@15fps / cif@7.5fps / cif@15fps / cif@30fps
    * 20 / 21 / 22         - cif@30fps / half-D1@@25fps / D1@12.5fps
    * 30 / 31 / 32         - D1@25fps / 720p@30fps / 720p@60fps
    * 40 / 41 / 42         - 1080p@30fps / 1080p@30fps / 1080p@60fps
    * 50 / 51 / 52         - 4K@30fps
    */
   mCodecCfg.h264.level    = 40;
   mCodecCfg.h264.entropy_coding_mode  = 1;
   mCodecCfg.h264.cabac_init_idc  = 0;
   mCodecCfg.h264.transform8x8_mode = 1;
   if (mRcCfg.rc_mode == MPP_ENC_RC_MODE_CBR) 
       mCodecCfg.h264.qp_init  = 10;
       mCodecCfg.h264.qp_min = 4;
       mCodecCfg.h264.qp_max = 30;
       mCodecCfg.h264.qp_max_step = 16;
   
int ret = mMppApi->control(mMppCtx, MPP_ENC_SET_CODEC_CFG, &mCodecCfg);

5. 接下来就是喂数据和拿输出数据的过程了,具体可以直接看sample代码,这里解释下一些基本概念,方便大家熟悉sample。

MppPacket : 存放编码数据,例如264、265数据

MppFrame : 存放解码的数据,例如YUV、RGB数据

MppTask : 一次编码或者解码的session

编码就是喂MppFrame,输出MppPacket;

解码就是喂MppPacket,输出MppFrame;

MPI包含两套接口做编解码:

一套是简易接口, 类似 decode_put_packet / decode_get_frame 这样put/get即可

一套是高级接口, 类似 poll / enqueue/ dequeue 这样的对input output队列进行操作

        解码得到的output buffer一般都拥有虚拟地址和物理地址的fd,紧接着就可以通过RGA做对应操作或者拷贝,速度是相当快的。

以上是关于RKMPP API安装使用总结的主要内容,如果未能解决你的问题,请参考以下文章

RKMPP库快速上手--RKMPP功能及使用详解

RKMPP库快速上手--MPP解码入门

RKMPP 在FFmpeg上实现硬编解码

RKMPP库快速上手--MPP编码入门

API 提供跟踪 BPM 节奏? [关闭]

最近总结