视频前处理：时域滤波MCTF技术学习

Posted 2022-11-16 神遁克里苏

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了视频前处理：时域滤波MCTF技术学习相关的知识，希望对你有一定的参考价值。

参考提案：JVET-U0056、JVET-V0056

时域滤波MCTF(Motion Compensated Temporal Filter)是一种视频前处理技术，直接修改原始帧，目前已经集成到了VTM和HM中。

核心思想：

假设现在有一个P1帧和一个P2帧，P1帧编完之后会作为P2帧的参考。那么与其让A帧的编完后的recP1去接近orgP1，不如让recP1去接近(orgP1+orgP2)/2。这样P2帧参考P1帧时预测会更准确，从而到压缩码率的目的。

MCTF就是基于上面思想，进行帧间平均。不过不是直接平均原始帧。而是使用运动估计和运动补偿的方法，也就是将最佳匹配块与当前块进行加权平均，起到降噪的效果，从而提升编码效率。

MCTF主要针对要多次被参考的帧使用，因此主要对低时间层的帧使用。使用当前帧前向4帧和后项4帧对当前帧进行MCTF操作。

RA配置下：

（POC%8）==0 以及（POC%16）==0 的帧使用MCTF

LD配置下：

（POC%4）==0 的帧使用MCTF

AI配置下不支持MCTF

具体步骤：

运动估计、运动补偿、双边滤波

运动估计

金字塔搜索

整像素搜索，以16x16的块为单位进行搜索。会将L0下采样两次得到L1、L2。

按照L2->L1->L0的顺序依次搜索，每一次都以上一次的最优MV进行进一步搜索。

分像素搜索，以8x8为单位进行搜索。每一次都以上一次的最优MV进行进一步搜索。

整体来说，运动估计的步骤相当于对下采样两次、然后上采样，得到多层图像。从分辨率最小的那一层搜索，每次都以上一层最优的为基础进行进一步搜索。

运动补偿

在下面这个函数中进行运动补偿

void EncTemporalFilter::applyMotion(const Array2D<MotionVector> &mvs, const PelStorage &input, PelStorage &output) const

抽头系数如下：

const int EncTemporalFilter::m_interpolationFilter[16][8] =

     0,   0,   0,  64,   0,   0,   0,   0 ,   //0
     0,   1,  -3,  64,   4,  -2,   0,   0 ,   //1 -->-->
     0,   1,  -6,  62,   9,  -3,   1,   0 ,   //2 -->
     0,   2,  -8,  60,  14,  -5,   1,   0 ,   //3 -->-->
     0,   2,  -9,  57,  19,  -7,   2,   0 ,   //4
     0,   3, -10,  53,  24,  -8,   2,   0 ,   //5 -->-->
     0,   3, -11,  50,  29,  -9,   2,   0 ,   //6 -->
     0,   3, -11,  44,  35, -10,   3,   0 ,   //7 -->-->
     0,   1,  -7,  38,  38,  -7,   1,   0 ,   //8
     0,   3, -10,  35,  44, -11,   3,   0 ,   //9 -->-->
     0,   2,  -9,  29,  50, -11,   3,   0 ,   //10-->
     0,   2,  -8,  24,  53, -10,   3,   0 ,   //11-->-->
     0,   2,  -7,  19,  57,  -9,   2,   0 ,   //12
     0,   1,  -5,  14,  60,  -8,   2,   0 ,   //13-->-->
     0,   1,  -3,   9,  62,  -6,   1,   0 ,   //14-->
     0,   0,  -2,   4,  64,  -3,   1,   0     //15-->-->
;