基于视觉显著图和加权最小二乘优化的红外与可见光图像融合（VSMWLS）

Posted 大闸謝Gemini

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基于视觉显著图和加权最小二乘优化的红外与可见光图像融合（VSMWLS）相关的知识，希望对你有一定的参考价值。

文章目录

摘要

红外和可见光图像融合的目标是为人类观察或其他一些计算机视觉任务提供具有更多信息量的图像。在本文中，我们提出了一种基于视觉显著性（VSM）和加权最小二乘（WLS）优化的新型多尺度融合方法，旨在克服传统方法的一些常见缺陷。首先，我们使用滚动引导滤波器（RGF）和高斯滤波器引入多尺度分解（MSD），将输入图像分解为基础层和细节层。与传统的MSD相比，这种MSD可以实现保留特定尺度信息和减少边缘附近光晕的独特性能。其次，我们认为大多数 MSD 获得的基础层会包含一定量的残余低频信息，这对于控制融合图像的对比度和整体视觉外观很重要，而传统的“平均”融合方案是达不到想要的效果。为了解决这个问题，提出了一种改进的基于 VSM 的技术来融合基础层。最后，提出了一种新的 WLS 优化方案来融合细节层。这种优化旨在将更多视觉细节和更少不相关的红外细节或噪声转移到融合图像中。因此，融合后的图像细节会显得更自然，更适合人类视觉感知。实验结果表明，与其他融合方法相比，我们的方法在主观和客观评估方面都能取得优异的表现。

1 介绍

  红外（IR）和可见光图像融合在军事和民用应用中发挥着重要作用，例如目标检测、监视和情报收集。红外成像传感器可以捕捉物体发出的热辐射，受黑暗或恶劣天气条件的影响较小。然而，获取的红外图像通常缺乏足够的场景背景细节。相比之下，可见图像通常包含更多的细节和纹理信息，并且比相应的红外图像具有更高的空间分辨率。 IR 和可见图像融合可以生成合成图像，为人类观察或计算机视觉任务提供更多信息。

  在过去的几十年中，基于多尺度分解 (MSD) 的融合方法得到了广泛的研究。不同尺度的图像结构通常在空间域中重叠。图像中的小尺度结构通常对应于细节和纹理，而大尺度结构可能代表较大尺寸的对象。多尺度融合方法的本质是先用MSD方法将空间上重叠的特征在尺度上分离，因此，即使占据相同的空间区域，不同尺度上分离的特征也能更有效地结合起来。在过去的几十年中，各种 MSD 方法已被用于图像融合，如拉普拉斯金字塔 (LAP) [1]、低通金字塔比 (ROLP) [2]、形态金字塔 (MOP) [3]、离散小波变换 ( DWT) [4,5]、曲波变换 (CVT) [6,7] 和非下采样轮廓变换 (NSCT) [8,9]。基于各种 MSD 的多尺度融合方法的巨大成功证实了尺度分离在图像融合过程中的重要性。

  近年来，边缘保留滤波器已成功应用于图像融合。例如，Li等人[10]提出了一种快速有效的图像融合方法，称为基于引导滤波的融合方法（GFF），其中引入了一种新的基于引导滤波的权重构造方法来结合像素显著性和空间一致性。Zhou等人[11]提出了一种基于高斯和双边滤波器的混合多尺度分解方法（HMSD），以实现更好的人类视觉感知融合结果。然而，大多数传统的边缘保留滤波器倾向于根据它们的对比度来平滑细节（即首先去除低对比度的细节），并且在图像分解中很少考虑它们的空间尺度，例如双边滤波器 [12 ]、引导滤波器 [13]、L0梯度最小化 [14]、RTV [15] 和 WLS [16]。因此，相应的 MSD 不能很好地实现图像特征的尺度分离，而这一特性对图像融合有很大的好处，正如我们从多尺度融合方法的本质所知道的那样。为了在根据尺度平滑图像结构的同时保留边缘，Zhang 等人[17] 提出了一种尺度感知的边缘保持滤波器，称为滚动引导滤波器（RGF）。由于图像融合有用的尺度感知和边缘保留特性，RGF 用于在我们的方法中执行 MSD。

  源图像可以通过 MSD 分解为一个基础层和几个细节层。基础层主要包含低频信息，可以控制融合图像的整体外观和对比度[11]。然而，传统的基础层“平均”融合规则不能有效地充分利用这些低频信息，通常会导致融合图像的对比度损失。为了解决这个问题，我们使用视觉显著性图（VSM）[18]来合并基础层。VSM 可以提取图像的显著结构、区域和对象。所提出的基于 VSM 的基础层融合规则能够有效地避免损失对比度，并为融合图像获得更好的整体外观。细节层通常与传统的“最大-绝对”融合规则合并，因为细节层系数的绝对值越大，对应的特征越显着。然而，IR 和可见图像的特征有很大不同，可见图像通常包含精细尺度的视觉细节信息，而 IR 图像通常呈现粗尺度结构或许多不兼容的 IR 细节和噪声。简单地应用“最大-绝对”规则可能会从可见图像中转移较少的精细细节，而将更多不相关的红外细节或噪声转移到融合图像中。为了解决这个问题，我们提出了一种新颖的加权最小二乘（WLS）优化方案，用于融合细节层。它基于红外和可见图像特征的不同特性，可以选择性地融合源图像的细节信息。

  本文的其余部分安排如下。在第 2 节中，介绍了基于 RGF 和高斯滤波器的 MSD。我们表明，这种 MSD 可以减少光晕并保留特定尺度的信息。第 3 节描述了我们的 IR 和可见图像融合算法。我们提出了一种基于 VSM 的加权平均技术来融合基础层和一种 WLS 优化方案来融合细节层。实验结果和比较在第 4 节中给出。在第 5 节中，我们总结了本文。

2 基于RGF和高斯滤波器的MSD

  用高斯滤波器构建的拉普拉斯金字塔被广泛应用于多尺度图像处理领域。然而，高斯滤波器会模糊所有边缘，无论它们是强还是弱（图 1 显示了一个示例来说明这一事实）。在包括图像融合在内的许多应用中，此属性可能会导致边缘附近出现恼人的光晕。边缘保留过滤器可以成功解决这个问题。在平滑图像时，边缘保留滤波器可以保留图像结构的边界，以减少光晕 [10] 并保持结构的空间一致性。因此，基于边缘保留滤波器的融合方法通常可以获得更好的性能[10,11,19]。然而，大多数边缘保留滤波器仅根据它们的对比度来保留图像内容的边缘，而不考虑尺度。因此，基于这些滤波器的 MSD 可能不太适合多尺度图像融合的应用，因为它们不能很好地实现空间重叠特征的尺度分离。最近，Zhang等人 [17] 提出了一种最先进的过滤技术，称为 RGF，它具有尺度感知和边缘保持特性。 RGF 包括两个主要步骤：小结构去除和边缘恢复。

  第一步是使用高斯滤波器去除小结构。从输入图像 I 中过滤后的图像 G 可以表示为：

$$G = Gaussian(I,σ_s)\\quad\\quad\\quad（1）$$

G = G a u s s i a n ( I , σ s ) （ 1 ） G = Gaussian(I,σ_s)\\quad\\quad\\quad（1） G=Gaussian(I,σs​)（1）

  其中Gaussian(I,σs) 表示以标准差 σs 作为尺度参数的高斯滤波。如尺度空间理论 [20] 中所述，该过滤器可以去除尺度小于 σs 的结构。

  第二步是使用某些类型的联合滤波器进行迭代边缘恢复，例如联合双边滤波器 [21]、引导滤波器 [13]、域变换 [22] 和递归双边滤波器 [23]。在这里，我们选择引导滤波器作为联合滤波器，因为它具有高计算效率和良好的边缘保持性能。这一步是一个迭代过程，其中恢复图像 J t J^t Jt 被迭代更新，初始图像 J 1 J^1 J1 为高斯平滑图像G。第t次迭代可以表示为：

$$J^j+1 = GuidedFilter( J^t ,I,σ_s,σ^2_ r)\\quad\\quad\\quad（2） $$

J j + 1 = G u i d e d F i l t e r ( J t , I , σ s , σ r 2 ) （ 2 ） J^j+1 = GuidedFilter( J^t ,I,σ_s,σ^2_ r)\\quad\\quad\\quad（2） Jj+1=GuidedFilter(Jt,I,σs​,σr2​)（2）

  其中 GuidedFilter( J t J^t Jt , I I I, σ s σ_s σs​, σ r 2 σ^2_ r σr2​)表示 I I I 的引导滤波， σ s σ_s σs​与公式（1）中的相同。 J t J^t Jt 作为引导图像， σ r σ_r σr​控制距离权重。在我们的方法中，我们设置 σ r σ_r σr​= 0.05。 RGF 是通过结合方程式来执行的。公式 （1）和 公式（2） 可以简单地表示为：

$$u = RGF(I,σ_s,σ_r,T)\\quad\\quad\\quad（3） $$

u = R G F ( I , σ s , σ r , T ) （ 3 ） u = RGF(I,σ_s,σ_r,T)\\quad\\quad\\quad（3） u=RGF(I,σs​,σr​,T)（3）

  其中 T T T 是根据 [17] 设置为 4 的迭代次数， u u u 是滤波输出。

  图 2 展示了使用 RGF 重复平滑的图像序列，除了最后一个（图 2（e））是通过对图 2（d）应用高斯滤波获得的，这将在后面解释。与图 1 相比，图 2 显示结构根据其尺度被连续删除，而边缘被很好地保留。

  图 3 和图 4 展示了 MSD 的细节层，分别在图1和图2的相邻图像之间的差异中获得。从图3可以看出，每个细节层都包含了所有尺度的内容。例如，所有四个细节层都包含墙上大型人物的结构。相比之下，图 4 中的每个细节层只包含当前尺度的内容。例如，大规模人只被分解到第四个细节层（图4（d）），而其他细节层只包含很少的人。更重要的是，第一个细节层（图4（a））只包含最细的砖结构，图4（b）和（c）包含越来越粗的砖结构，而这些砖结构在图 4(d)中消失了。此外，人周围的光晕在图3（c）和（d）中很明显，而图4（c）和（d）几乎没有光晕。总之，由于边缘保留和尺度感知特性，RGF可以减少光晕并保留特定尺度的信息。

  在我们的方法中，使用高斯滤波器获得基础层（即，如图 2（e）所示的最后一个平滑图像）。这可以解释如下。通常，基础层是包含粗尺度结构信息的源图像的最粗版本，可用于控制融合图像的全局对比度和外观。因此，基础层没有必要保留来自源图像的边缘或细节信息。如果基础层保留了一些边缘或细节信息，融合后的图像可能会丢失这些有用的信息，因为基础层融合规则主要是为了融合粗尺度结构信息而设计的。虽然使用具有较大 σs 和 σr 的 RGF 可以获得最粗糙的基层，但由于其迭代过程，这是耗时的，并且在实践中也是不必要的。因此，在我们的方法中选择了具有较大标准偏差 σs 的高斯滤波来获得基础层，这既快速又有效。

  因此，提出的基于 RGF 和高斯滤波器的 MSD 公式如下：

$$u^j= RGF(u^ j-1,σ^ j-1_s,σ_r,T)，（j = 1,...,N-1）\\quad\\quad\\quad（4）\\\\
d^j = u^j-1 - u^j，（j=1,...,N-1）\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad（5）\\\\
u^j = Gaussian(u^j-1 - u^j) ,（j = N）\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad（6）\\\\
d^j = u^j-1-u^j，（j=N）\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad（7）$$

u j = R G F ( u j − 1 , σ s j − 1 , σ r , T ) ， （ j = 1 , . . . , N − 1 ） （ 4 ） d j = u j − 1 − u j ， （ j = 1 , . . . , N − 1 ） （ 5 ） u j = G a u s s i a n ( u j − 1 − u j ) , （ j = N ） （ 6 ） d j = u j − 1 − u j ， （ j = N ） （ 7 ） u^j= RGF(u^ j-1,σ^ j-1_s,σ_r,T)，（j = 1,...,N-1）\\quad\\quad\\quad（4）\\\\ d^j = u^j-1 - u^j，（j=1,...,N-1）\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad（5）\\\\ u^j = Gaussian(u^j-1 - u^j) ,（j = N）\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad（6）\\\\ d^j = u^j-1-u^j，（j=N）\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad\\quad（7） uj=RGF(uj−1,σsj−1​,σr​,T)，（j=1,...,N−1）（4）dj=uj−1−uj，（j=1,...,N−1）（5）uj=Gaussian(uj−1−uj),（j=N）（6）dj=uj−1−uj，（j=N）（7）

  其中 u j u^j uj 表示第 j j j 级滤波图像， d j d^j dj是第 j j j 层的细节层，N 是分解层数量。初始图像 u 0 u^0 u0 等于输入图像 I I I（即 u 0 = I u^0 = I u0红外与可见光图像融合论文阅读

红外与可见光图像融合论文阅读

红外与可见光图像融合论文阅读

基于VGG19神经网络的提取特征 进行 可见光与红外光的 图像融合 基于pytorch 实现。。。

图像融合基于matlab对比度增强结合多尺度边缘保持分解红外与可见光图像融合含Matlab源码 1886期

科普：如何应用视觉显著性模型优化远控编码算法？