结构感知图像融合 Structure-Aware Image Fusion

Posted 2022-06-17 大闸謝Gemini

文章目录

• 摘要
• 1 介绍
• 2 初步研究
• 3 结构感知图像融合
• • 3.1 显著结构提取
  • 3.2 迭代联合过滤器
  • 3.3 扩展到多个图像
  • 3.4 计算和效率
• 4 实验结果
• • 4.1 实验配置
  • 4.2 性能指标
  • 4.3 参数影响
  • 4.4 视觉和定量比较
• 5 结论

摘要

  大多数现有的多模态图像融合方法都需要多尺度变换。但是，这种要求并不一定导致融合结果包含源图像的原始强度，多尺度变换需要很高的计算复杂度。在本文中，我们以低计算复杂度解决了空间域中的多模态图像融合问题。提出了一种显着结构提取方法和一种结构保持滤波器来融合医学图像。所开发的结构保持滤波器具有在输入图像的大尺度结构附近恢复引导图像的小尺度细节的特性。基于结构保持滤波器的特性，将结构保持滤波器的输出与源图像相结合，构建融合结果。进行实验以证明所提出的方法在三个性能指标方面与最先进的方法相比的有效性。

关键词：多模态医学图像融合；迭代联合滤波；联合滤波；尺度感知；结构保持

1 介绍

  相机的核心设备是广泛安装的光学镜头。长焦镜头存在景深有限的问题，这可能会导致只有少数景深的物体清晰而其他物体模糊。最常用的传感器是可见光相机，由于光照变化，可见图像具有更多的小细节。使用红外传感器，红外图像由于热辐射提供物体级信息。在多传感器成像中，红外图像是对热辐射的检测，光谱的可见部分被捕获为可见图像。因此，有必要开发一种有效的结构感知融合方法，在保留显着结构的同时融合不同尺度的细节。由于需要将不同模态中的细节和显着结构组合成一个融合输出，因此图像融合对于形成单个摘要输出至关重要。

  多模态图像通常在空间域或变换域中合并[1,2]。在这两个领域中，一个隐含的假设是检测显着区域等同于在不同源图像中找到主要像素。在空间域中，最简单的图像融合方法是计算不同模态下的平均强度，但平均规则不能有效地将细节组合成输出。这种方法保留了基础结构，但受到同色异谱的影响，即不同的输入强度被分配相同的输出强度。图像梯度是一种在空间域中表示图像结构的简单方法[3]，并被用作图像融合方法的基础技术[4-6]。通过梯度可以很容易地提取不同尺度的图像结构，通常从空间域的多模态图像中选择梯度较大的像素。通过使用多尺度分解（MSD）变换可以捕获不同尺度的显着结构。在变换域融合方法中，从变换域子带中选择携带显着结构的相对较大的系数，并通过对这些选择的系数进行相应的逆变换获得融合图像。随着不同 MSD 变换的发展，许多基于 MSD 的方法被应用于图像融合 [7-9]，例如基于拉普拉斯金字塔的算法 [10-13]、小波 [14-16]、多尺度几何分析 [ 17-19]等。然而，尽管多尺度几何分析工具[20-23]的发展，变换域方法不能很好地保留结构，它们具有相对较高的计算复杂性[24-26]。

  尺度感知工具广泛应用于图像处理和计算机视觉以提取语义信息[27-30]。检查图像梯度是否包含所有图像尺度很简单，但 MSD 仅捕获由分解级别确定的少数图像尺度。空间域中的图像融合不同于变换域中的融合，因为前者的融合图像包含来自源图像的原始像素值的所有尺度。在空间域中，我们可以直接处理像素而不是处理变换域系数。因此，我们提出了一种快速有效的空间域图像融合框架，该框架的主要技术是显着结构提取（SSE）和迭代联合滤波器（IJF）。我们提出了一种简单有效的 SSE 方法，其中我们利用图像梯度来获得源图像的大规模结构。然后，我们使用 IJF 将小尺度细节从源图像传输到融合输出。 IJF的输出作为加权图，通过加权和规则得到融合结果。 SSE 和 IJF 都以快速有效的方式开发。

  针对图像融合问题，在许多多模态图像上评估了该算法的有效性。将所提出的结构感知图像融合方法与最先进的算法进行比较：Contourlet 域中基于指令对比度的方法（DCCD）[18]，Contourlet 域中基于神经元模糊的方法（NFCD）[24 ]，两尺度分解（TSD）方法[13]，使用稀疏表示的多尺度变换（MSSR）[31]，梯度转移融合（GTF）[32]，分别。实验结果表明，所提出的结构感知融合方案的性能在三个性能指标方面优于最先进的方法，是最快的算法。

  论文的重置组织如下。在第 2 节中，我们回顾了双边滤波器和域变换滤波器，并分析了双边滤波器和域变换滤波器之间的关系。在第 3 节中，我们提出了一种新的框架来融合多模态图像。在第 4 节中，我们介绍了数值实验和比较结果。我们使用许多图像并与四种最先进的方法进行比较。第 5 节以一些讨论结束。

2 初步研究

  各向异性扩散的开创性工作是一种结构感知平滑技术，可以保留图像结构[33]。各向异性扩散倾向于过度锐化结构并且具有很高的计算复杂度[34,35]，因此改进的结构保持平滑滤波器方案、双边滤波器[36]、引导滤波器[37]和域变换滤波器[38]是最近提出的。双边滤波器被推广到联合双边滤波器[39]，然后三个滤波器有两个输入，即输入图像和引导图像。两个输入联合滤波得到一个输出。它们是三种流行的结构保持联合图像过滤器。它们可以保留输入图像的大尺度显着结构，而引导图像的小尺度细节被转移到输出图像[37-40]。

  对窗口包围的图像像素执行图像过滤并更新中心像素值。给定一个输入图像 I 和一个引导图像 G，一个像素 p 的双边滤波器的输出是，

$$J_p=\frac{1}{k_p}\sum _{q\in {\Omega }_p}{I}_q(exp(-(\frac{||p-q|{|}_2^2}{2{\sigma }_s^2}+\frac{||G_p-G_q|{|}_2^2}{2{\sigma }_r^2})))\text{\hspace{1em}(1)}$$

  其中 ${\Omega }_p$ 是以像素 $p$ 为中心的滑动窗口，${\sigma }_s$ 是空间域缩放参数，${\sigma }_r$ 是范围域缩放参数，$k_p$ 是规范化术语：

$$k_p=\sum _{q\in {\Omega }_p}(exp(-(\frac{||p-q|{|}_2^2}{2{\sigma }_s^2}+\frac{||G_p-G_q|{|}_2^2}{2{\sigma }_r^2})))\text{\hspace{1em}(2)}$$

  双边滤波器的机制比引导滤波器更容易理解，即支持一个强度 $G_q\in {\Omega }_p$ 与 ${\Omega }_p$ 中心的强度 $G$ 相似，并且两个像素位于边缘的同一侧。在这种情况下，$exp(-\frac{||G_p-G_q|{|}_2^2}{2{\sigma }_r^2})$ 趋于 1，$I_q$ 的权重由 $exp(-\frac{||p-q|{|}_2^2}{2{\sigma }_s^2})$ 决定，因此它类似于传统的高斯平滑滤波器。另一方面，如果强度 $G_q$ 与 $G_p$ 相差很大，并且两个像素位于边缘的不同侧，则 $exp(-\frac{||G_p-G_q|{|}_2^2}{2{\sigma }_r^2})$ 趋于 0，它使 $I_q$ 的权重趋于0。因此，$I_q$ 和 $I_p$ 之间的关系非常弱，以至于 I q I_q Iq​以上是关于结构感知图像融合 Structure-Aware Image Fusion的主要内容，如果未能解决你的问题，请参考以下文章

像素级压缩感知图像融合的论文

百万年薪社招 | 图像识别SLAM/VIO/SFM三维算法高精度地图感知/传感器融合方向

图像识别/数据融合/行人和车辆的检测与跟踪算法技术精讲|牛喀学城

即将截止|图像识别/数据融合/行人和车辆的检测与跟踪算法技术精讲|牛喀学城

智慧城市建设推动视频大数据与物联网创新融合发展

图像融合基于matlab对比度和结构提取多模态解剖图像融合含Matlab源码 1539期