A Deep Decomposition Network for Image Processing:A Case Study for Visible and Infrared Image Fusion

Posted 2022-06-15 大闸謝Gemini

文章目录

• 摘要
• 1 介绍
• 2 相关工作
• • 2.1 小波分解和拉普拉斯滤波器
  • 2.2 基于分解的融合方法
  • 2.3 基于深度学习的融合方法
• 3 提出的融合方法
• • 3-A 网络结构
  • 3-B 损失函数
  • 3-C 图像融合
  • 3-D 融合策略
• 4 实验与分析
• • 4-A 训练和测试细节
  • 4-B 对抗性损失的作用
  • 4-C 分解图像的细节
  • 4-D 与最先进方法的比较
• 5 结论

摘要

  图像分解是图像处理领域的一个重要课题。它可以从源图像中提取显着特征。我们提出了一种新的基于卷积神经网络的图像分解方法。这种方法可以应用于许多图像处理任务。在本文中，我们将图像分解网络应用于图像融合任务。我们输入红外图像和可见光图像，分别分解为三个高频特征图像和一个低频特征图像。使用特定的融合策略对两组特征图像进行融合，得到融合特征图像。最后对特征图像进行重构，得到融合图像。与最先进的融合方法相比，该方法在主观和客观评价方面都取得了更好的表现。

关键词：图像融合；图像分解；深度学习；红外图像；可见图像

1 介绍

  图像融合是图像处理中的一项重要任务。它旨在从多模态信号源的图像中提取重要特征，并使用一定的融合策略生成包含多张图片互补信息的融合图像。我们的工作是常见的图像融合任务之一，即融合可见光图像和红外图像[1]。融合后的图像不仅包含被遮挡物体的辐射信息，还保留了足够的纹理细节信息。目前，许多先进的方法广泛应用于生产和生活中，如安全监控、自动驾驶、目标跟踪、目标识别等领域。

  有很多优秀的融合方法，可以分为两类：传统方法和基于深度学习的方法[2]。传统方法大多是基于信号处理的方法，获取图像的高频段和低频段，然后将它们合并。随着深度学习的发展，基于深度神经网络的方法在图像融合方面也显示出巨大的潜力，因为神经网络可以提取源图像的​​特征并进行特征融合。

  传统方法可以大致分为两类：一类是基于多尺度分解的，另一类是基于表示学习的方法。在多尺度域中，将图像分解为多尺度表示特征图，然后通过特定的融合策略融合多尺度特征表示。最后通过相应的逆变换得到融合图像。具有代表性的多尺度分解方法有很多，如金字塔[3]、曲波[4]、轮廓波[5]、离散小波变换[6]等。

  在表示学习领域。大多数方法是基于稀疏表示的，例如稀疏表示（SR）和梯度直方图（HOG）[7]、联合稀疏表示（JSR）[8]、具有多选策略的近似稀疏表示[9]等.

  在低秩领域，李和吴等人。提出了一种基于低秩表示（LRR）的融合方法[10]。最新的方法，如 MDLatLRR [11] 是基于潜在 LRR 的图像分解。该方法可以提取低秩域中的源图像特征。

  虽然基于多尺度分解和表示学习的方法取得了良好的性能。但是这些方法仍然存在一些问题。这些方法非常复杂，字典学习是一项耗时的操作，尤其是在线训练。如果源图像很复杂，这些方法将无法很好地提取特征。

  为了解决这个问题，近年来，由于神经网络强大的特征提取能力，许多基于深度学习的方法被提出[2]。

  2017年，Liu等人。提出了一种基于卷积神经网络的多焦点图像融合方法[12]。在 ICCV2017 中，Prabhakar 等人。提出了 DeepFuse [13] 来解决多曝光图像融合的问题。 2018年，李和吴等人。提出了一种新的基于密集块和自动编码器结构的红外和可见光图像融合方法[14]。在接下来的两年里，随着深度学习的飞速发展，涌现出一大批优秀的方法。包括Zhang等人提出的IFCNN[15]，Ma等人提出的基于GANs的融合网络（FusionGan）[16]，以及Li等人提出的多尺度融合网络框架（NestFuse）[17] . 2020年，大部分基于神经网络的方法都是利用神经网络强大的特征提取功能，然后在特征层面进行融合，通过一些特定的融合策略得到最终的融合图像。

  但是，基于深度网络的方法也存在一些不足： 1、神经网络作为一种特征提取工具，不能解释提取特征的含义。 2、网络复杂，耗时长。 3.红外和可见光数据集的数量和规模较小，很多方法使用其他数据集进行训练。这不一定适用于提取红外和可见光图像。

  为了解决这些问题，我们提出了一种可用于分解图像的新型网络。同时，借鉴传统方法和基于深度学习的方法，我们提出的网络可以将红外和可见光图像分解为高频特征图像和低频特征图像，以达到比传统方法更好的分解效果。同时，我们设计了一些融合规则来融合高低频特征图像，得到融合后的特征图像。最后，将这些融合特征图像重建为融合图像。我们提出的方法不仅利用了神经网络强大的特征提取能力，而且实现了图像的分解。与最先进的方法相比，我们的融合框架在主观和客观评价方面都取得了更好的表现。

  此篇文章的结构如下。在第二节中，我们介绍了一些相关的工作。在第三节中，我们将详细介绍我们提出的融合方法。在第四节中，我们说明了实验设置，并分析和比较了我们的实验结果。最后，在最后的第五节，我们得出了本文的结论。

2 相关工作

  无论是基于传统的图像信号处理方法还是基于深度学习的方法。它们都是非常合理和优秀的方法。我们将在本节介绍一些启发我们的相关作品。

2.1 小波分解和拉普拉斯滤波器

  小波变换已成功应用于许多图像处理任务。图像融合最常见的小波变换技术是离散小波变换 (DWT) [18] [19]。

  DWT 是一种信号处理工具，可以将信号分解为高频信息和低频信息。一般来说，低频信息包含信号的主要特征，高频信息包含信号的详细信息。在图像处理领域，通常使用二维 DWT 对图像进行分解。图像的小波分解如下：
  $$\{\begin{array}{l}{M}_{LL}(x,y)=\phi (x)\phi (y)\\ M_{LL}(x,y)=\phi (x)\phi (y)\\ M_{HL}(x,y)=\psi (x)\phi (y)\\ M_{HH}(x,y)=\psi (x)\psi (y)\end{array}\text{\hspace{1em}(1)}$$

  其中$\phi (\cdot )$是低通滤波器，$\psi (\cdot )$是高通滤波器。输入信号$M(x,y)$是具有两个方向的信号的图像。沿 x 方向和 y 方向分别进行高通和低通滤波。如图 1 所示，我们可以得到一个近似表示的低频图像和三个高频图像，分别是垂直细节、对角细节和水平细节。

  拉普拉斯算子是具有旋转不变性的简单微分算子。二维图像函数的拉普拉斯变换是各向同性二阶导数，定义为：

$${▽}^{2}f(x,y)=\frac{{\partial }^{2}f(x,y)}{\partial x^2}+\frac{{\partial }^{2}f(x,y)}{\partial y^2}\text{\hspace{1em}(2)}$$

  为了更适合数字图像处理，将方程近似为离散形式：

$${▽}^{2}f(x,y)\approx [f(x+1,y)+f(x-1,y)+f(x,y+1)f(x,y-1)]-4f(x,y)（3）$$

  拉普拉斯算子也可以用卷积模板的形式表示，用它作为过滤核：
$$G_1=\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]，G_2=\left[\begin{array}{ccc}1& 1& 1\\ 1& -8& 1\\ 1& 1& 1\end{array}\right]\text{\hspace{1em}(4)}$$

  $G1$和$G2$是离散拉普拉斯算子的模板和扩展模板，可以利用该模板的二阶微分特性来确定边缘的位置。它们常用于图像边缘检测和图像锐化处理，如图2所示。

  我们可以很容易地观察到，传统的边缘滤波通常只是一种高频滤波。在突出边缘的同时，它们也突出了噪点。

2.2 基于分解的融合方法

  Li和Wu等人提出了一种使用低秩表示[20]分解图像的方法[11]。

  首先，LatLRR[20]可以描述为以下优化问题：

$$\begin{gathered} mi{n}_{Z,L,E}||Z|{|}_{\ast }+||L||\ast +\mu ||E|{|}_1 \\ st.，X=XZ+LX+E\text{\hspace{1em}(5)} \end{gathered}$$

  其中$\mu$是超参数，$\Vert \cdot {\Vert }_{\ast }$是核范数，$\Vert \cdot {\Vert }_1$是l1范数。 $X$ 是观察到的数据矩阵。 $Z$ 是低秩系数矩阵。 $L$ 是一个投影矩阵。