VCIP2020：VVC利用CNN进行质量提升

Posted 2021-07-08 Dillon2015

本文来自VCIP2020论文《Prediction-Aware Quality Enhancement of VVC Using CNN》

VVC虽然能比HEVC显著节省码率，但是在低码率情况下还是会有明显失真。本文算法利用CNN对VVC解码视频进行处理来进行质量增强（quality enhancement，QE），其实属于后处理过程。

整个算法的工作流程如Fig.1所示，QE是一个CNN网络，其输入为解码后的视频帧、帧内预测信息和量化参数QP。其中每帧的三个通道分别单独处理。

CNN网络结构

QE网络作用于采用帧内编码模式的帧的解码后的图像即重建帧，为了更好的捕获压缩失真，网络的输入还包括该帧的预测信号。网络结构如下，

第一个卷积层接收重建帧和预测帧作为输入，然后跟着32个相同的residual blocks，每个包含两个卷积层和一个Relu层，其中卷积层的feature map和kernel的size和第一个卷积层相同。

实验结果

使用DIV2K和Fliker2K数据集训练模型，所有图像都使用VTM5.0在AI配置下编码，使用22到47间的6个QP，并在解码过程中提取预测信息。

为了验证模型效果，使用官方测试序列在AI配置下实验，并使用了两组QP：1）22，27，32，37 。2）32，37，42，47。第二组QP反映低码率情况下的结果。实验结果如下：

感兴趣的请关注微信公众号Video Coding

​