VVC中CIIPOBMC和LMCS工具的协同
Posted Dillon2015
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了VVC中CIIPOBMC和LMCS工具的协同相关的知识，希望对你有一定的参考价值。
VVC中为了提高预测的准确率增加了很多工具，其中一个CU可以同时使用CIIP、OBMC、LMCS等工具。本文来自JVET-X0090《On combination of CIIP, OBMC and LMCS》，该提案提出了这三种工具不同的协同方法，并进行实验验证。
简介
在VVC中新增了LMCS，该工具会将输入像素进行映射，CU在映射域进行预测。在ECM2.0中，当一个CU同时使用LMCS、CIIP和OBMC时，最终的预测值将由CIIP得到的预测值和OBMC得到的预测值加权得到，其中CIIP的预测值在映射域计算，而OBMC的预测值在原始像素域计算，如下式：
其中
在映射域计算，
其中 
是在原始像素域的帧间预测值， 
是在映射域使用planar模式计算的帧内预测值。 
是在原始像素域使用相邻块运动信息计算得到。
算法改进
提案提出了三种改进方法使得 和 在同一个域中计算。
改进1
第一种改进方法是将 和 都在映射域中计算，即在加权前对 进行映射。最终预测像素计算如下式：
实验结果如表1所示，
表1 映射域结果
| Random Access Main 10 | |||||
| Over ECM-2.0 | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | -0.04% | -0.03% | -0.09% | 99% | 100% |
| Class A2 | 0.00% | -0.05% | 0.07% | 99% | 100% |
| Class B | -0.02% | -0.01% | 0.00% | 102% | 101% |
| Class C | 0.00% | -0.01% | 0.04% | 100% | 100% |
| Class E | |||||
| Overall | -0.01% | -0.02% | 0.01% | 100% | 100% |
| Class D | 0.03% | -0.03% | 0.00% | 99% | 100% |
| Class F | 0.00% | -0.04% | -0.01% | 101% | 102% |
| Low delay B Main10 | |||||
| Over ECM-2.0 | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | |||||
| Class A2 | |||||
| Class B | -0.02% | 0.17% | 0.00% | 101% | 101% |
| Class C | -0.09% | -0.39% | -0.08% | 99% | 100% |
| Class E | -0.03% | 0.46% | -0.60% | 101% | 102% |
| Overall | -0.05% | 0.05% | -0.18% | 101% | 101% |
| Class D | 0.12% | -0.55% | -0.56% | 100% | 99% |
| Class F | -0.02% | -0.05% | 0.03% | 101% | 101% |
改进2
第二种改进方法是 将 和 都在原始像素域中计算，即在加权前对 进行逆映射。最终预测像素计算如下式：
实验结果如表2，
表2 原始域结果
| Random Access Main 10 | |||||
| Over ECM-2.0 | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | -0.01% | 0.18% | 0.08% | 99% | 100% |
| Class A2 | -0.01% | 0.06% | 0.08% | 99% | 100% |
| Class B | 0.00% | 0.05% | 0.00% | 100% | 100% |
| Class C | -0.02% | 0.08% | 0.06% | 100% | 100% |
| Class E | |||||
| Overall | -0.01% | 0.09% | 0.05% | 100% | 100% |
| Class D | -0.02% | -0.14% | 0.05% | 100% | 100% |
| Class F | 0.00% | -0.02% | -0.04% | 100% | 100% |
| Low delay B Main10 | |||||
| Over ECM-2.0 | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | |||||
| Class A2 | |||||
| Class B | -0.03% | 0.06% | 0.08% | 99% | 100% |
| Class C | -0.09% | 0.28% | 0.11% | 100% | 100% |
| Class E | -0.01% | -0.22% | -0.82% | 101% | 100% |
| Overall | -0.04% | 0.06% | -0.13% | 100% | 100% |
| Class D | 0.01% | -0.45% | -0.38% | 100% | 99% |
| Class F | -0.08% | -0.06% | -0.15% | 101% | 101% |
改进3
第三种改进方案将CIIP拆开进行，首先在原始域将OBMC预测结果和帧间预测结果进行加权作为最终帧间预测结果，然后将该帧间预测结果和帧内预测结果进行CIIP计算，
实验结果如表3，
表3 方案3结果
| Random Access Main 10 | |||||
| Over ECM-2.0 | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | -0.02% | -0.04% | 0.03% | 99% | 100% |
| Class A2 | -0.01% | -0.05% | 0.03% | 99% | 100% |
| Class B | -0.01% | -0.01% | -0.01% | 101% | 101% |
| Class C | -0.02% | -0.01% | 0.04% | 101% | 101% |
| Class E | |||||
| Overall | -0.01% | -0.02% | 0.02% | 100% | 100% |
| Class D | 0.02% | -0.12% | 0.06% | 101% | 100% |
| Class F | 0.01% | 0.03% | 0.03% | 101% | 101% |
| Low delay B Main10 | |||||
| Over ECM-2.0 | |||||
| Y | U | V | EncT | DecT | |
| Class A1 | |||||
| Class A2 | |||||
| Class B | -0.08% | 0.03% | 0.02% | 102% | 100% |
| Class C | -0.03% | -0.21% | 0.03% | 100% | 99% |
| Class E | 0.05% | -0.34% | -0.78% | 101% | 101% |
| Overall | -0.03% | -0.14% | -0.18% | 101% | 100% |
| Class D | 0.08% | -0.27% | 0.20% | 101% | 100% |
| Class F | -0.09% | -0.51% | -0.21% | 101% | 102% |
总结
由前面实验结果可得， 和 都在映射域中计算在ECM2.0中RA配置结果 Y, U, V, EncT, DecT为 -0.01%, -0.02%, 0.01%, 100%, 100%，LDB配置下结果为-0.05%, 0.05%, -0.18%, 101%, 101%。都在原始域中计算，RA配置下结果为-0.01%, 0.09%, 0.05%, 100%, 100%，LDB配置下结果-0.04%, 0.06%, -0.13%。方案3RA配置下结果为-0.01%, -0.02%, 0.02%, 100%, 100% ，LDB配置下结果-0.03%, -0.14%, -0.18%, 101%, 100%。
感兴趣的请关注微信公众号Video Coding
以上是关于VVC中CIIPOBMC和LMCS工具的协同的主要内容，如果未能解决你的问题，请参考以下文章