AVS3帧内预测

Posted 2022-11-27 Dillon2015

帧内预测是去除空域冗余的重要工具，AVS3的帧内预测是在AVS1和AVS2的基础上逐步演化来的，包括DC、plane、bi-linear、角度模式等。

图1 AVS帧内预测模式

AVS1支持8种角度模式，如图1(a)，对于不同尺寸块使用的角度模式不同，对于4x4的intra块支持所有角度模式，对于8x8的块只能使用水平、垂直和对角线模式，对于8x8的intra块的亮度和色度分量还分别额外支持DC模式和plane模式。对于帧内模式的编码，AVS1采用MPM，MPM内有2个候选项，来自上方和左侧相邻块。

AVS2支持33种帧内预测模式，包括30种角度模式和DC、Plane、bi-linear模式，如图1(b)。30种角度模式的分布范围为[-157.5°，60°]，模式3到11仅使用上方参考像素，模式25到32仅使用左侧参考像素，模式13到23同时使用上方和左侧参考像素。AVS2首次引入了bi-linear模式，如图2，对于PU右下角的像素C，其预测值为A和B的加权（权重由A和B分别到C的距离决定）。对于PU最右侧一列或最下边一行像素，其预测值为A或B和C的预测值的加权。PU中剩余像素的预测值由其上方参考像素、左侧参考像素、下边界像素、右边界像素通过双线性加权得到。

图2 bi-linear模式

由于AVS2引入了bi-linear模式，其MPM构造方式发生了变化，若两个相邻块都是DC模式则将DC和bi-linear模式加入MPM，否则将DC模式和最近相邻块模式加入MPM。AVS2的色度分量还有DM模式，若使用DM模式则表示色度复用亮度的模式。表1是AVS2的帧内预测模式的索引。

表1 AVS2的帧内预测模式

AVS3帧内预测

---

AVS3继承了AVS2的DC、Plane、bi-linear模式并扩展了角度模式。角度模式的范围还是[-157.5°，60°]但是数量增加到63个，如图1(c)。AVS3的MPM生成方式和AVS2类似。AVS3的帧内预测还支持SAWP(Spatial Angular Weighted Prediction)，类似于VVC里的几何划分，它可以使用2个角度模式分别生成2个预测块，然后将2个预测块加权得到最终的预测块。当使用SWAP时，使用的两个角度模式都需要在码流中传输，为了降低传输负担对SAWP仅允许使用模式3到32。

在AVS1中参考像素都在整像素位置，而在AVS2中若参考像素位置不在整像素位置则使用一个4抽头插值滤波器进行1/32像素精度的插值。AVS3为了进一步提高分像素位置的预测精度，使用MIPF（Multiple Intra Prediction Filter）技术，它包含四类4抽头滤波器，由平滑滤波器和插值滤波器组成。

在AVS3中由参考像素加权得到的预测值还可以进一步通过IPF（Intra Prediction Filter）处理以提高预测精度，IPF使用相邻参考像素来调整当前预测值。

为了去除不同颜色分量间的冗余，AVS3提出TSCPM（Two Step Cross-component Prediction Mode）。TSCPM和VVC中的CCLM类似，C'=α * L + β，其中L是亮度像素的重建值，C'是中间结果，然后再使用6抽头滤波器获得最终色度预测值。TSCPM和CCLM的区别是，对于420格式CCLM先对亮度重建块下采样然后按照线性映射得到色度预测值，而TSCPM是直接在原始尺寸上对亮度块进行线性映射得到中间值，然后对中间值进行下采样。

AVS3还提出了PMC（Prediction from Multiple Cross-component）来进一步去除不同颜色分量间的冗余，PMC可以使用Y和Cb的重建值来预测Cr。
 

参考

---

J. Li et al., "Sub-Sampled Cross-Component Prediction for Chroma Component Coding," 2020 Data Compression Conference (DCC), 2020, pp. 203-212, doi: 10.1109/DCC47342.2020.00028.

J. Li et al., "Prediction with Multi-Cross Component," 2020 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), 2020, pp. 1-6, doi: 10.1109/ICMEW46912.2020.9105965.

Ma, S., Zhang, L., Wang, S. et al. Evolution of AVS video coding standards: twenty years of innovation and development. Sci. China Inf. Sci. 65, 192101 (2022).

Y. Piao, J. Chen, S. Lee and I. -K. Kim, "Intra coding of AVS2 Video Coding Standard," 2014 IEEE International Conference on Multimedia and Expo Workshops (ICMEW), 2014, pp. 1-5, doi: 10.1109/ICMEW.2014.6890695.