ICASSP2021：通过码率限制降低ME复杂度

Posted 2021-09-07 Dillon2015

本文来自ICASSP2021《Relying on a Rate Constraint to Reduce Motion Estimation Complexity》

运动估计ME是视频编码中最耗时的部分之一，本文提出基于码率的MV候选项消除策略。研究发现最优MV通常在MVP附近，通过限制MV的码率缩小运动搜索窗口从而减少计算复杂度。本文方法不局限于某种运动搜索模式，可以适用于各种ME策略。在VTM上实验结果显示和TZ search相比本文算法在BD-Rate损失0.74%的情况下可减少80%的复杂度。

简介

ME是视频编码最耗时的部分之一，HM和VTM中运动搜索都使用TZ search算法。ME一般包括三步：

1. MV预测，利用相邻块的运动信息生成MVP，并以该MVP作为运动搜索起点。

2. 整数运动搜索（IME），在以MVP为中心的区域内搜索cost最小的MV。

3. 分像素运动搜索（FME），在上一步基础上进行修正。

本文算法改进的是第二步IME部分。

在ME中cost计算方法如下：

式中r是MVD的码率。d表示失真，用残差的SAD计算。由于对每个候选项都要计算失真，所以需要从内存中加载大量像素块非常耗时。

MVD的码率估计方法如下：

其中g(v)表示对整数v进行有符号指数哥伦布编码后码字的长度。可以通过查表计算。

Fig.1是以MVP为中心128x128区域内MVD码率的分布。

基于码率的候选项消除

研究发现TZ search算法中ME最终选择的最优MV大部分都在MVP附近，其中87%就是MVP本身，94%在MVP附近很小的菱形区域内。

Fig.3是VTM编码器最终选择的MV的空域分布的热力图。通过对Fig.1中的值和Fig.3中的值的对数计算皮尔森相关系数得到-0.89，表明随着码率上升选择的MV数量指数下降。由此可得出结论，大部分最优MV都在MVP周围很小的区域内即MVD码率很小。

所以本文算法通过跳过计算那些r(mv-mvp)>t的MV的cost来减少计算复杂度，其中t是阈值。通过r(mv-mvp)>t限制可以减少很多MV候选项，从而减少计算cost的时间，但是该方法不保证最终MV一定是最优的。

实验结果

本文中复杂度C的计算方式如下：

其中S是VVC中所有CU可能尺寸的集合，totalCandidates(s)  是尺寸为s的候选项数量，area(s) 是CU的面积。

复杂度相对降低量计算方式如下：

论文通过上面的方式计算复杂度，而不是通过编码器运行时间计算，可以避免编译优化或机器性能对结果的影响。

Fig.4是t=4时LDP和RA配置下的实验结果。

表1是RA配置下t=10和20时的结果，t=10时有三条序列BD-rate损失在1%以下，复杂度大幅降低。t=20时BD-rate损失很小，复杂度也有所下降。

表2是LDP配置下t=4的结果，可以看见除了F序列外，本文算法在BD-rate损失在合理范围内可达到80%以上复杂度降低。

感兴趣的请关注微信公众号Video Coding

​