DeepFuse:A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

Posted 2021-03-26 rainton-z

　　本文主要介绍了将卷积神经网络CNN引入到多曝光图像融合技术中，通过无监督深度学习提取多曝光图像对中的特征，融合后重建图像，最终获得视觉效果很好的图像。

　　高动态范围成像（High Dynamic Range Imaging,HDRI）技术是一种能够帮助我们在光线条件较差的情况下捕获视觉效果更好的图片的一种技术。它能够存储下人眼能够洞察到的所有光线，而不只是照相机能够获取的光线范围。而HDR图像产生的一种很常见的方式是多曝光融合（Multiple Exposure Fusion，MEF）。

　　MEF是将一系列有着不同曝光度的LDR（Low Dynamic Range）图像融合为一张HDR图像，这一系列图像称为曝光栈（exposure stack）。大部分的MEF算法在任意两张LDR图像的曝光差异最小时更加有效。长曝光图像在黑暗的区域有更好的色彩和结构信息，而短曝光图像在明亮的区域有更好的色彩和结构信息。

一、基于CNN的用于融合曝光图像对的无监督图像融合算法

　　在其他的MEF算法中，都是依靠人工寻找的特征来融合图像，这样在输入条件发生变化的时候，参数就需要发生变化，那么算法就不鲁棒了。且这些算法都有同样的一个思想：要么在局部或是像素上计算每一幅图像的权重，融合时将输入序列中的图像按照权重相加即可。

　　在DF（DeepFuse）模型中，输入发生变化时是不需要进行参数的调整的，它是稳定可靠的。就CNN方法而言，它通过优化损失函数loss function学习模型参数，从而达到尽可能准确地预测输出的效果。

　　CNN被用于融合输入图像的亮度（luminance）通道，这是由于图像的结构信息呈现在亮度通道中，亮度变化在亮度通道中比在色度通道中更加突出。在亮度通道（Y）融合以后，再与色度通道（Cb和Cr）结合，获得最终的输出图像。

　　整个模型的结构有三部分：特征提取层（feature extraction layer）、融合层（fusion layer）和重建层（reconstruction layer）。如下图所示。

　　这样的结构有三个好处：

　　①能够让网络学习输入对的相同特征。如图所示的特征融合方式（先映射再融合）比其他的方式更加有效。滤波器学习的目的是移除邻域的均值，从而使得特征的亮度是不变的。

　　②可学习的滤波器数量减半；

　　③网络参数少，收敛快。

二、用于比较不同MEF方法的新基准——SSIM（Structural Similarity Index Metric）

　　SSIM是符合人类视觉系统（HVS）的评判标准。在SSIM结构中，任何图像块都能够用三个部分来建模：structure(s)、luminance(l)、contrast(c)。

　　图像块可以表示为y_k=c_k*s_k+l_k，其中图像的对比值c*应该取max（c_k），而s*应该是单位加权和。在图像局部，亮度对比是不重要的，因此将其忽略，y*=c*·s*。

　　由此可以用SSIM框架计算出像素p的图像质量分数Score(p)，损失函数Loss。

　　→MEF SSIM的损失函数是计算两张灰度（Y）图之间的分数的，对于Cb和Cr两个色度通道是不适用的。RGB表示的图像也是不能使用的，原因是RGB三个通道是相互关联的。

三、延伸的试验评估和与其他针对自然图像的先进算法的比较

　　与其他的几种MEF算法相比较，DF模型拥有自动学习特征，保持图像亮度的一致性，在曝光不足的图片中依然能够完整保护图像细节，不会产生光环效应。

　　此外，将CNN方法用于MFF（Multi-Focus Fusion）问题中，即输入图像由多曝光变为多焦点图像，DF模型依然表现很好，并且模型中的参数并不需要进行修改。

　　

　　总的来说，DF模型从每一张输入图像中提取出了一系列底层的特征，通过合并层（merge layer）将所有输入图像中的特征对融合为了单一特征，最后使用融合的特征重建图像，得到了最终的融合图像。

DF模型的三个优点：

1、Better fusion quality融合质量更好：即使对于极度曝光的图像对，也能产生很好的融合效果。

2、SSIM over l₁优于l₁的SSIM评判标准：像MEF SSIM这样复杂的损失函数在没有真实数据的情况下能够和CNN成功地契合。

3、Generalizability to other fusion tasks对于其他融合任务的普适性。