低光照增强论文阅读：ZERO-SHOT RESTORATION OF UNDEREXPOSED IMAGES VIA ROBUST RETINEX DECOMPOSITION

Posted 2022-11-28 告白少年

ABSTRACT

未曝光的图像往往受到严重的质量退化，如能见度差和潜在的噪音。 以往大多数低曝光图像恢复方法都忽略了噪声，并在拉伸对比过程中放大了噪声。 这篇文章通过分解出噪声，去除噪声分量，以达到去噪的目的，同时恢复曝光不足的图像。 提出了一种新的三个分支的卷积神经网络，即RRDNet(RobustRetinex分解网络)，将输入图像分解为光照、反射和噪声三个分量。 不需要成对的数据集作为数据驱动。 通过迭代最小化一个特殊设计的损失函数来更新。 设计了这样一个损失函数来评估测试图像的当前分解和引导噪声估计。

论文方法：

思路：认为图像由三部分构成：光照分量，反射分量，噪声分量。在没有pair对的情况下实现低光图像增强，通过对loss进行迭代来有效估计出噪声和恢复光照。

1.分解网络：
网络分别输出三个分支，分别是估计反射图R，估计光照图S和噪声图N
2.重构网络:

1. 光照分量经过gamma变换：

2. 将输入图减去噪声图N并除以S后进行变换得到估计的反射图
   
3. 根据Retinex理论重构图像
   

网络结构：

网络分别输出三个分支，分别是估计反射图R，估计光照图S和噪声图N。通过将光照图进行伽马变换，以及将输入图减去噪声图N并除以S后进行变换得到估计的反射图，最终可以得到恢复的增强图像。

loss function:
损失函数由三部分：Lr（基于Retinex的重构损失），Lt(光照图的平滑损失)，Ln(基于光照图引导的去噪损失)

Retinex reconstruction loss：
类似之前的Retinex-net网络，L1范式引导网络产生更清晰的光照分量和反射分量

Texture enhancement loss:
在自然图像中，通常表面的光照强度是相对平坦的。 平滑的光照图illumination map有助于增强黑暗区域的纹理。基于相对全变分(relative total variation, RTV)图像平滑算法：

Illumination-guided noise estimation loss:
在曝光不足的图像恢复任务中，将拉伸暗区的对比度以提高其可见性。 但同时，隐藏在黑暗中的噪音也会被放大。利用之前分解好的图像的光照图指导图像去噪任务，通过加权来重点估计黑暗中的噪声。（需要关注暗光处的noise去除，且对边缘部分尽可能保留）

通过将这三个损失项结合起来，RRDNet可以将图像(A)分解为局部光滑照明图©、无噪声和纹理丰富的反射分量(D)和聚焦于暗区(E)的噪声分量。 (B)是重构的结果。

实验结果：

评估方法：NIQE(自然图像质量评估)，CPCQI(基于彩色图像斑块的对比度质量指数)
NIQE评估恢复结果的总体自然性。 CPCQI从平均强度、信号强度和信号结构分量三个方面评价了输入和增强输出之间的增强效果。
较低的NIQ E值大致对应于较高的总体自然度，而较大的CPCQ I值则表示较高的对比度。

Ablation Study（消融实验）：
用于验证损失函数的作用。用MEF数据集进行消融实验，通过结合不同的损失项，定量地评估RRDNet损失函数中每个项带来的优点。

相关链接：
1.paper下载地址
2.NIQE图像评价指标matlab的代码