ICIP2021：VVC RPR参考结构改进

Posted 2022-05-11 Dillon2015

本文来自ICIP 2021论文《An Enhanced Reference Structure For Referencr Picture Resampling In VVC》

参考图像重采样（Referencr Picture Resampling，RPR）是VVC在实时视频编码的重要工具。RPR可以在码流内部自适应改变分辨率而不需要插入IDR或IRAP帧，这样可以避免因为IDR或IRAP帧过大造成的网络拥塞。RPR可以根据网络情况自适应调整分辨率，当网络带宽低时可以下采样编码低分辨率（LR）帧，当网络带宽变好后又可上采样编码高分辨率（HR）的原始帧。

VVC中的RPR

---

在H.264和H.265中，当一段码流要改变分辨率时需要插入IDR或IRAP帧，但是编码IDR或IRAP帧需要码率比帧间预测帧更高且速度更慢，对于实时通信场景会增加延时。

为了在改变分辨率时不需要插入IDR或IRAP帧，VVC提出了RPR。相关语法元素在SPS和PPS中，可以指定水平和垂直方向的缩放比例。

当参考帧和当前帧分辨率不同时，为了进行运动补偿需要对参考帧进行重采样，VVC支持块级重采样，DPB中只存未重采样的编码帧。

如果码流中分辨率发生了变化，则在质量评价时PSNR计算方式发生了变化，如Fig.1中PSNR1和PSNR2都需要计算。JVET-Q2015中提出了RPR的标准测试环境（后台回复"RPR"获取），它要求水平和垂直缩放比例为2:1或1.5:1，且每0.5秒改变一次分辨率。

参考结构修改

---

如Fig.2所示，对于分辨率变高的帧(Resolution Increased Pictures，RIP)码率会突然增高。为了解决这个问题，论文提出了使用HR参考帧替换LR参考帧以及自适应决定HR参考帧的数量。

HR替换LR

---

如图Fig.3所示POC48帧是RIP帧，它的参考帧都是LR帧。LR帧的预测准确度低于HR帧，Fig.4(a)是原始HR帧，Fig.4(b)是LR帧上采样的结果，从而在差值可以看出上采样后LR丢失大量信息，降低了预测的准确率。

使用HR替换参考列表RPL中的LR不仅有利于RIP帧也有利于HR参考帧少的帧。首先计算RPL中HR的数量，当数量少于𝑇ℎ𝑟𝑒𝑁𝑢𝑚𝐻𝑅𝑅𝑒𝑓时使用时域最近的HR替换时域最远的LR。

修改后的参考结构如Fig.5所示。

HR数量的自适应选择

---

HR参考帧和当前帧可以时域距离非常远，例如视频中包含快速运动或复杂运动的物体则HR参考帧和当前帧可能完全不同，这种情况下使用LR帧作为参考则更好。如果视频内容变化缓慢，只使用两个HR帧作为参考性能可能也不够好。所以论文提出基于HR参考帧中参考块的比例自适应决定HR参考帧的数量。

整个过程如下所示，

实验结果

Tab1和Tab2分别是缩放比2:1时PSNR1和PSNR2的BD-Rate。

Tab3和Tab4分别是缩放比1.5:1时PSNR1和PSNR2的BD-Rate。

可以看出运动缓慢的classE类视频gain更大，而运动复杂的classB类视频gain较少。且缩放比2:1比1.5:1的gain更大。

如Fig.7所示，在RIP图像时本文方法码率更低。

感兴趣的请关注微信公众号Video Coding

2022深度学习开发者峰会 5月20日13:00让我们相聚云端，共襄盛会！