Paper | Quality assessment of deblocked images

Posted 2020-12-01 ryanxing

目录

• 1. 故事
• 2. 失真变化
• 3. 方法（PSNR-B）
• 4. 实验

这篇文章提出了一个PSNR-B指标，旨在衡量 压缩图像的块效应强度 或 去块效应后的残留块效应强度（比较去块效应算法的优劣）。

1. 故事

现有的PSNR虽然形式简单、物理意义清晰，但与主观质量关系不大；SSIM（同时考虑亮度相似度、对比度相似度和结构相似度）和主观质量更贴近，但无法反映块效应强度。

2. 失真变化

首先，我们设无损图像为(x)，编解码后为压缩图像(y)，去压缩失真后的图像为( ilde{y})。我们将像素分为两类：

1. (Vert x_i - ilde{y}_i Vert^2 < Vert x_i - y_i Vert^2)，即去压缩失真比较成功的像素点。

2. (Vert x_i - ilde{y}_i Vert^2 > Vert x_i - y_i Vert^2)，即去压缩失真比较失败的像素点。

我们求这两类区域的距离差的均值：(ar{alpha} = ave(Vert x_i - y_i Vert^2 - Vert x_i - ilde{y}_i Vert^2), ar{eta} = ave(Vert x_i - ilde{y}_i Vert^2 - Vert x_i - y_i Vert^2))。

所谓失真变化，就是(ar{alpha} - ar{eta})。该值越大，块效应抑制越明显，去块效应算法越成功。

对于一般的低通滤波器，(ar{alpha})虽然很大，但(ar{eta})也很大，因此通常是失败的。对于H264内置的环路滤波器，它会自适应地根据 像素点与块边缘的距离 以及 局部灰度梯度信息，选择滤波位置和滤波器尺寸，从而让(ar{eta})不至于过大，而(ar{alpha})与低通滤波器相当大。但是，该环路滤波器的决策非常耗时，通常会占据1/3以上的解码器复杂度。

3. 方法（PSNR-B）

在本节，作者提出一种对块效应敏感的图像质量指标，作者称之为peak signal-to-noise ratio including blocking effects (PSNR-B)。

我们首先假设图像由整数个块（tiling）组成。例如：

图中每一个块都是(8 imes 8)的块，一共有64个。定义以下块类别：

分别代表：纵向接壤块边缘的像素对、纵向非接壤块边缘的像素对、横向接壤块边缘的像素对 和 横向非接壤块边缘的像素对。看图就好了，文字贼绕。

定义两个指标：

前者代表块边缘变化强度，后者代表非块边缘（块内）变化强度。随着量化逐渐粗糙，前者的增大会明显快于后者。

还考虑一个因素：随着块增大，块效应也会逐渐明显。【反过来，如果块很小，那么远看是看不出块效应的】因此我们定义一个块效应因数（blocking effect factor, BEF）：
[ BEF(y) = eta cdot [ D_B (y) - D_B^C (y) ] ]
其中的(eta)随着块尺寸的增大而增大：

例如在H264压缩标准下，一张图像内可以有多种不同尺寸的块。此时就有：

作者定义MSE-B和PSNR-B如下：

注意了，其中的MSE是有参考的指标，但BEF本身是无参考的指标。

4. 实验

我们看看对H264环路滤波器的测试情况。

通过四个视频作者发现：环路滤波器有时可以稍微提升视频的PSNR，有时没有太大作用。而低通滤波器会严重损失PSNR。

SSIM实验结果与PSNR接近，但不同点在于：在有些视频中，低通滤波后的SSIM要比原始压缩图像的SSIM更高。这与主观体验是基本一致的，说明SSIM更趋近于主观质量。

这是PSNR-B的实验结果。可以看到，当量化比较粗糙时，低通滤波器也发挥了作用。