Paper | Making a "Completely Blind" Image Quality Analyzer

Posted 2020-11-22 ryanxing

目录

• 1. 技术细节
  • 1.1 NSS特征
  • 1.2 选择锐利块来计算NSS
  • 1.3 一张图像得到36个特征
  • 1.4 用MVG建模这36个特征
  • 1.5 NIQE指标
• 2. 实验

质量评估大佬AC Bovik的作品，1200+引用。

目标问题：提出一些普适的、与主观质量接近的客观评估指标。普适意味着：无失真先验。

背景：现有的普适NR-IQA方法需要训练集（图像包含预期的失真，且需要人类评分数据）。这种方法泛化能力差，且要求高。

解决思路：从自然图像中获取一些统计数据（natural scene statistic, NSS），用来刻画图像质量。即不再需要人类评分数据用于训练。基于此的方法称为Natural Image Quality Evaluator (NIQE)。

效果：与SOTA的、基于训练的NR-IQA方法平起平坐。

意义：这种方法才是真正的blind。因为如果我们有合适的数据集，就说明我们对失真有了一定的预判，使得训练集和测试集的失真模式是一致的。虽然测试阶段是盲的，但训练显然非盲。

1. 技术细节

作者称之为no reference opinion-unaware distortion-unaware IQA model。一句话概括：将一系列quality-aware的特征，用一个多元高斯（multivariate Gaussian MVG）模型进行建模。那么，有损图像的质量就是其MVG 以及 自然图像的MVG 的距离。

1.1 NSS特征

第一步，图像归一化：减去局部均值，除以标准差+1：

这一步即计算了本文选择的NSS！根据参考文献[10]【这个文献很重要】，无损自然图像的式（1）遵循高斯分布。如果是非自然图像（如计算机渲染图像）或受损图像，那么分布就不像高斯分布。

注意：该指标在BRISQUE[3]中已经被用过。但BRISQUE方法没有NIQE好？

1.2 选择锐利块来计算NSS

第二步，我们选择块，来计算以上的NSS。注意，我们只考虑那些显著性高的区域，一般是锐利的区域[12]。前面我们计算了每个像素点邻域的标准差，因此我们可以据此估算该区域的锐利程度：

如图即选出的区域示例：

然后，我们简单设一个阈值，该阈值为整个图像峰值锐利度的75%。超过阈值即锐利块，被选出计算NSS。

1.3 一张图像得到36个特征

第三步，我们用零均值的广义高斯分布（generalized Gaussian distribution, GGD）来建模自然图像的NSS：

和[3]一样，本文通过相邻像素NSS的相乘，来检测该NSS指标的异常。

建模时，我们考虑4个方向、2种块的尺度。每一个GGD模型有4个参数，一共能产生36个特征。产生方法要看[3]。

1.4 用MVG建模这36个特征

第四步，我们用MVG建模自然图像的这36个特征。

1.5 NIQE指标

最后，我们计算目标MVG和自然MVG的距离，即NIQE得分：

2. 实验

我们只看一个实验：我们需要多少自然图像进行训练，模型才会收敛？

可见，当超过100张图像时，模型的稳定性就很好了。