Paper | Blind Quality Assessment Based on Pseudo-Reference Image

Posted 2020-11-22 ryanxing

目录

• 1. 技术细节
  • 1.1 失真识别
  • 1.2 得到对应的PRI并评估质量
    • 块效应
    • 模糊和噪声
  • 1.3 扩展为通用的质量评价指标——BPRI
    • 归一化3种质量评分
    • 判断失真类型
    • 加权求和
• 2. 总结

这一篇应该是继《BLIND QUALITY ASSESSMENT OF COMPRESSED IMAGES VIA PSEUDO STRUCTURAL SIMILARITY》（2016 ICME）之后的拓展工作。后者是将压缩图像再压缩，比较二者伪结构（压缩块角）的相似度；而本文就是将方法一般化，产生了伪参考图像的概念。

建议先看那篇短文，再看本文。本文只记录扩展部分的精华。

【实际上，这种思想并不是作者的首创。在去模糊等领域，这种思想被广泛使用[5,6]】

本文称伪参考图像为pseudo-reference image（PRI），基于PRI的盲IQA方法为PRI-based BIQA。

本文考虑三种失真：块效应，模糊和噪声。

1. 技术细节

要注意的是，每一种失真很不一样，因此我们需要设计distortion-specific PRI以及对应的测距方法。

对于块效应，我们先对压缩图像进一步强压缩，然后寻找各自的伪结构，最后计算二者伪结构的相似度（PSS），即最终得分。

对于模糊和噪声，它们都会改变图像的局部结构：平坦区域可能因为噪声变得有纹理，而纹理区域可能因为模糊变得平滑。因此我们测量的是局部结构相似度（local structure similarity, LSS）。具体是借助local binary pattern（LBP）[8]来刻画局部结构。

1.1 失真识别

借助DIIVINE[7]的识别方法。只有此步需要训练。

1.2 得到对应的PRI并评估质量

块效应

我们先说块效应。流程与ICME大致相同，不同点：

1. 计算PSS时分母上加1，以保证数值稳定性。

2. 检测角使用MATLAB的最小特征值法[43]。质量阈值很小，设为0.001。

3. 在处理图像前，先用(3 imes 3)标准差为0.5的高斯滤波器滤波。

模糊和噪声

我们再说模糊和噪声指标——LSS。

模糊图像和有噪图像的PRI分别是：

得到PRI以后，我们要用LBP来表征PRI和原图各自的局部结构。LBP记录的是某个像素和其圆形邻域内像素的亮度值的差值，并且以二值化形式编码记录：

得到LBP之后，我们再处理一步：

上面是对模糊LBP的处理，下面是对有噪LBP的处理。

最后，我们遵循与块效应相同的步骤，计算相似度即可。

效果：

质量越差（DMOS小），重合越多（白色区域占比大），得分越高（LSS得分高）。

1.3 扩展为通用的质量评价指标——BPRI

有上面那些是不够的。如果一张图像里存在多种失真耦合，那么以上流程和指标都没法用。为此，我们将方法拓展。

归一化3种质量评分

首先，我们要让PSS和两个LSS处于相近的区间，即归一化。方法就是用100张图像（4种失真类型和5种失真尺度，共2000张），拟合各自的模型：
[ q' = lambda_1 (frac{1}{2} - frac{1}{1 + exp lambda_2 (q - lambda_3)}) + lambda_4 q + lambda_5 ]

这样，3个得分都会在0和1之间波动。拟合对象为FR方法GMSD[49]。

判断失真类型

这里作者使用了SVM作为分类器。输入即3个归一化前的质量评分组成的1个3维向量，输出也是3维向量，表征3种失真的概率。

加权求和

概率和归一化后的得分加权求和，即最终得分。

实验略。

2. 总结

优点：

We solve the problem of IQA by measuring "how much worse the image could be?" rather than the traditional "how bad the image is?".

缺点：

1. 存在大量手工设计的参数。调起来甚是麻烦。

2. 很难处理耦合失真。

3. 失真类型有限。每加入一种失真类型，就需要训练一个SVM，拟合一个归一化模型，定义一个PRI。