武汉大学cveo小组：基于全卷积神经网络的单张遥感影像去雾

Posted 2021-04-26 珞瑜129

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了武汉大学cveo小组：基于全卷积神经网络的单张遥感影像去雾相关的知识，希望对你有一定的参考价值。

简介:

雾给遥感影像带来了大量噪声，它大大降低了影像的可见度和对比度，使其表面颜色变淡，影像数据信息量减少。遥感图像如果包含大量的有雾区域，会使许多后续数据处理与解译任务（如影像分割、目标检测和识别、影像分类等）的效果受到大幅影响。我们迫切需要一个有效的去雾算法来解决这个问题。如下图展示了同一区域遥感影像去雾前后的对比，左图为带有厚雾的遥感影像，右图为使用暗通道去雾算法的效果：

下图手机横屏查看更清晰哦！

经典的去雾算法通过引入先验知识来实现这一功能，这些方法可以分为基于图像增强的算法和基于图像恢复的算法。前者在影像处理中常常会忽视影像的细节部分；而后者又过于注重纹理信息，导致对于白色目标过于敏感，同时，这些算法适用于自然影像，在场景复杂的遥感影像上的表现则差强人意。

为了解决这些问题，我们引入了深度全卷积网络（Fully Convolutional Network，FCN）模型。因此，适合遥感影像的去雾数据集和适合遥感影像的卷积神经网络的结构设计成为了解决遥感影像去雾问题的重点所在。本文设计了泛化能力较强的去雾数据集合成方法以及轻便有效的神经网络：HRFCN。

框架方法:

本算法的基本框架仍然基于图像恢复的基本思路，采用大气折射模型作为我们的物理理论基础模型，通过计算大气透射率图来计算雾对原始影像的影响，从而获得去雾后的影像。

网络设计:

以480×480分辨率的带雾影像作为HRFCN的输入，以对应的相同尺寸的透射率图作为输出。一方面是因为去雾影像与带雾影像之间的差异较小，直接以去雾影像作为输出很容易使得神经网络陷入局部最小点，不能充分利用训练数据集的大量遥感影像数据来学习复杂的函数。另一方面是因为大气折射模型等人类知识先验的引入，可以在训练数据集样本量较小的情况下显著提升模型精度，使得模型得到最好的预测效果。

HRFCN由卷积模块和回归模块组成，网络结构如下图所示。

卷积模块首先使用两个卷积层提取原始图像的低层次信息，然后使用三个池化块将影像下采样至60×60分辨率，这样避免了网络结构中出现的细节信息过于冗余的情况。每个池化块由一个最大池化层（MaxPooling）和两个卷积层组成，其中，每个卷积层模块的结构如下图所示。一般来说，为了将图像上采样至原始图像大小，可以使用上采样层（Up-Sampling）或者转置卷积层。在本文提出的网络中的回归模块中，本文使用Up-Sampling层并辅以均值池化层（Average-Pooling）作为均值滤波功能，避免“马赛克”现象。而在网络的最后，使用sigmoid函数回归估计结果。除回归层外的所有层都使用了ReLU作为激活函数。此外，为了获取多尺度下更加丰富的影像特征信息，本文在Conv2和Ave层之间设置了跳跃连接层期待得到更好的效果。

验证实验:

实验结果:

为了评估模型质量，比较去雾影像和原始清晰影像的差异，本文使用MSE、结构相似性（structural similarity , SSIM）、峰值信噪比（peak signal-to-noise Ratio, PSNR）、时间消耗四个指标。由于比对在对影像进行归一化后进行，MSE值域为0到1，指标越大则像素级的差异程度越大；SSIM值域也为0到1，指标越大则相似性的程度越大；PSNR值域为0到正无穷大，指标越大则去雾图像相比于真实图像保真的程度越大。

如下图所示，本文的模型在各个指标上都达到了远高于其他模型的效果，而且本文模型指标方差也远低于其他模型，这意味着本文的模型更具有稳定性。

本文将各个模型去雾之后得到的结果连同地面真实值（Ground Truth）汇总在下图中，从左到右依次是带雾影像、HRFCN去雾影像、暗通道先验去雾影像、Dehaze-Net去雾影像、MSCNN去雾影像以及地面真实值。本文注意到，Dehaze-Net和MSCNN两种算法得到的去雾结果在白色目标上效果不佳，并且有时甚至会产生低对比度图像，例如第一张中的房屋和最后一张的河边。而DCP算法在浅色区域的效果明显不如人意，例如第三张中的飞机跑道和第四张的农田，去雾效果出现了严重的失真。同时该算法获得的去雾影像普遍存在去雾程度过高而去雾影像画面偏暗的情况。