ICME2021：实时VVC软件解码器

Posted 2021-08-10 Dillon2015

本文来自ICME2021论文《A REAL-TIME H.266/VVC SOFTWARE DECODER》

2020年7月VVC标准正式发布，在相同主观质量下VVC相比HEVC能节省50%的码率，但是复杂度也大幅提升。本文提出了对VVC解码器进行优化的方法，利用SIMD指令集和并行处理方案能在基于x86的CPU上达到4k 60fps的VVC实时解码速度。

VVC解码器概览

VVC解码器的架构如Fig.1所示，

熵解码阶段从码流中提取二进制字符并转换为语法元素包括块划分结构、帧内/帧间预测模式、量化的变换系数、运动向量MV、参考帧索引等。VVC在熵编码中使用CABAC，比HEVC增加了些功能以提高吞吐速度和性能。

反量化和反变换（IQ/IT）阶段将频域的系数反量化和反变换为空域残差块。除了使用DCT-II变换核，VVC提出了MTS可以使用DCT-VIII和DST-VII变换核。VVC还在反量化和反变换之间引入了LFNST。

帧内预测阶段为解码块进行帧内预测。VVC的角度模式增加到65种，对于矩形块使用WAIP。VVC还使用CCLM去除不同通道间的冗余。解码器在帧内预测时将预测块和残差块相加获得重建块。

帧间预测阶段根据参考帧索引和MV进行运动补偿。VVC对亮度使用8抽头滤波器，色度使用4抽头滤波器进行1/16、1/4、1/2像素插值。VVC中MVP编码可以使用MMVD、HMVP、对称MVD和AMVR。为了提高预测精度还提出了CIIP、GPM、BCW。VVC还提出了基于子块的仿射运动模型。解码器在帧间预测时将预测块和残差块相加获得重建块。

LMCS是VVC新增的工具，用于环路滤波之前，包括两个主要部分：1）基于分段线性模型的亮度映射。2）依赖亮度的色度残差缩放。

环路滤波阶段包括DF、SAO和ALF。

Fig.2和Fig.3是本文VVC解码器和VTM解码器在单线程下各个模块花费的时间。

VVC解码器优化

本文解码器针对AVX2使用SIMD进行优化。为了支持不同比特深度使用了c++类和模板函数。使用了c++11的线程库实现多线程。

SIMD优化

本文研究了不同模块的SIMD加速效果，所有的SIMD实现都是基于x86 AVX2扩展。

表1是各个模块的平均加速比。可以发现8比特的SIMD优于16比特的SIMD。对于以下模块如CCALF和SAO，当输入超过8比特时中间结果达到32比特精度，而对于8比特输入中间结果只有16比特精度，所以8比特SIMD的寄存器利用率更高，性能提高也越大。

比特深度模板

由于解码器可能需要解码不同比特深度的视频，比如Main10 profile需要解码10比特视频。对于不同的比特深度需要不同的内存布局和结构。在VTM解码器中无论输入视频是多少比特，内部都按16比特处理，这样实现简单但是性能不高。本文解码器利用c++类和模板函数，将比特深度作为模板参数。在运行时，解码器可以根据比特深度选择解码路径。

并行

VVC支持多种并行工具包括slice和tile并行。但是缺点在于slice和tile的数量由编码器决定，解码器无法控制码流中的数据依赖。而且使用过多slice和tile会降低编码性能。

本文解码器实现了多种粒度的并行如Fig.4所示，包括图像级、CTU级、task级、sub-CTU级。图像级并行在图像使用帧内编码或满足运动补偿依赖时可以同时解码多个NALU。此外，不同图像的熵解码和slice解码可以并行进行。CTU级并行可以同时处理不同行的多个CTU。task级并行是在解码器流水线上同时处理多个task比如不同CTU的环路滤波和像素处理（IQ/IT，帧内/帧间预测和重建）可以同时进行。sub-CU级并行是同时处理CTU中的多个CU，例如当MV生成之后帧间预测CU可以并行处理。

实验结果

实验配置

实验使用Windows 10 Pro 操作系统。系统配置如下：

测试码流由VTM-10编码。测试序列包括UHD和HD序列。

性能比较

表3是本文解码器在单线程下和VTM的结果比较，可以看到在不同QP下加速比都很稳定。

表4是本文解码器在多线程下和VTM的比较，在8线程下UHD和HD的解码速度分别平均为53fps和203fps。在Intel Core i9-10940x处理器，主频3.3GHz和禁用turbo boost下UHD和HD的解码速度分别平均可达到68fps和265fps。这表明本文解码器在基于x86的CPU上有4K 60fps的实时解码能力。

表5是在使用比特深度模板函数时解码8比特码流的性能增益。

表6是SCC下的性能增益。

可以使用O266(https://github.com/TencentCloud/O266player )集成进VLC查看解码效果。

感兴趣的请关注微信公众号Video Coding

​