ICASSP2021：AV1基于决策树帧间划分早停止

Posted 2021-09-22 Dillon2015

本文来自ICASSP2021论文《Decision Tree Based Inter Partition Termination For AV1 Encoding》

AV1引入了很多新的编码工具，导致其计算复杂度非常高。论文通过决策树在帧间预测进行块划分时预测划分方式，从而及早停止划分以减少时间。

简介

AV1的superblock的大小为128x128，在帧间预测时有10种划分方式，如Fig.1所示。

其中R表示递归划分，最小划分到4x4。在每个划分深度上都需要对所有模式进行RDO计算选择最优模式导致计算复杂度非常高。因此论文提出了使用决策树来对这个过程进行剪枝。

统计发现，划分模式NONE对non-split块的RD cost要小于split块。同时发现，相邻块间往往有相同的划分决策。

论文方法

运动补偿块MCB

在利用相邻信息时，不仅可以利用空域相邻信息还可以利用时域相邻信息。传统方法都是利用同位块作为时域相邻块，但是由于物体运动，同位块经常不是最优的参考块，尤其针对小尺寸块而言。为了解决这个问题，论文使用运动补偿块MCB。运动补偿是帧间预测必不可少的步骤，搜索到的匹配块即为MCB。

一个MCB可能不是在一个CU内，而是跨了多个CU，在这种情况下，MCB的RD cost定义为重叠CU的RD cost的加权平均，

如果MCB的80%在一个CU里，则该CU的划分状态作为MCB的划分状态。否则，如果大部分重叠的CU在该深度下选择划分，则MCB也标记为划分。

叶子节点属性选择

决策树包含一系列叶子节点，每个节点包含一个属性进行二分类。属性的选择对于分类精度有很大影响。

论文使用块的直方图的皮尔森相关系数来描述两个块的相似度，如下，

该指标绝对值越大表示相关性越高。

信息增益（IG）常被作为选择特征构建决策树的指标。IG表示按照该特征进行划分后熵的减小量。基于此本文使用下面的特征构建模型：

• 当前块、上方块、左侧块、MCB按照模式NONE进行划分后的RD cost归一化后的值RD_curr、RD_above、RD_left、RD_mcb。

• 上方块、左侧块和MCB块的划分决策Split_above、Split_left、Split_mcb。

• 当前块和上方块的相似度Corr_above，当前块和左侧块的相似度Corr_left。

表2是当块尺寸为128x128时各特征的IG。

构建决策树

论文使用著名的数据挖掘软件WEKA3.8构建决策树。从数据集objective-1-fast中取6条视频训练决策树，视频用cq-level 32编码，编码的块用于构建训练集。

训练好的决策树在AV1帧间预测过程中进行二分类，整个过程如Fig.3所示。

对于每个划分深度，在检查完划分模式NONE后，提取特征用于计算决策树的输出。如果输出为1表示要划分，编码器计算RDO，再下一个深度再进行决策树计算。否则，递归划分终止，检查在该划分深度下的其他模式。整个决策树如Fig.4所示。

实验结果

实验平台为libaom2.0.0，序列为CTC中的9条序列，720p序列使用200帧，1080p和1600p序列使用100帧，编码模式为LD，cq-level={32,37,43,50}。

实验结果如表3，

实验结果显示，论文算法平均可节省23.6%的编码时间，BD-rate的损失仅为0.73%。

感兴趣的请关注微信公众号Video Coding

​