Image Fusion With Convolutional Sparse Representation

Posted 2020-11-15 rainton-z

　　本文主要介绍的是通过引入叫做卷积稀疏表示（Convolutional Sparse Representation，CSR）的信号分解模型到图像融合中，以解决稀疏表示（Sparse Representation，SR）的两个主要缺陷。改进后的模型在客观评估和视觉质量上都优于SR方法。

　　首先，图像融合（Image Fusion）技术的主要目的是：通过产生一张融合的图像，使得来自同一场景的不同源图像的信息变得更加完整。这些图像可能源自不同种类的图像传感器，也可能来自同一类图像传感器，但是有着不同的图像参数。经过图像融合以后得到的图像应该比源图像更易理解，且更适于机器和人的感知。

　　图像融合的方法主要分为空间域方法（spatial domain methods）和变换域方法（transform domain methods）两类。空间域方法多应用于来自同类传感器的源图像（例如多焦点（multifocus）融合、多曝光（multiexposure）融合）的融合任务；而变换域方法在来自不同种类传感器的源图像（多模态（multimodal）图像融合）上很有效。变换域方法的另一个优点在于，能够通过将去噪过程植入到融合框架中来解决有噪图像的融合。本文主要探讨的是变换域的方法。

　　本文的两个主要贡献：①首次将CSR引入到图像融合领域中来②基于CSR的图像融合框架被应用到多焦点和多模态图像融合中，其效果优于SR。

一、SR-Based Image Fusion：

　　SR模型的两个缺点：

　　①在细节保留上能力有限：在理想情况下，每个像素的多个值（采用块重叠）应该是一样的，从而保持一致性，但是由于稀疏编码在每个块或块集上是独立的，这就忽略了一致性。在利用加重和平均的方法获取每一个像素的最终值时就不可避免地改变源图像的原有结构，因此在融合图像中一些细节就被平滑化甚至丢失了。

　　②对于图像重合失调高度敏感：一个模型的SR只有在图像块的大小在水平和垂直方向上都是一个像素时才满足平移不变性。一方面这种情况下的计算效率很低，另一方面，对于重合失调也不够鲁棒。因为源图像的一个块只与其他源图像在此处的块有关，但邻近的块中的信息就被忽略了。

二、Convolutional Sparse Representation

　　1、采用CSR的动机：

　　①CSR的结果是单值的，且对于整个图像进行优化，因此可以解决SR的缺点①；

　　②CSR是满足平移不变性的，因此可以解决SR的缺点②。

　    2、应用CSR的步骤：

　　①两尺度图像分解（Two-Scale Image Decomposition）：将原图分解为基础层（base layer）和细节层（detail layer）。

　　②细节层融合（Fusion of Detail Layers）：在多焦点和多模态图像融合中使用的参数有所不同。

　　③基础层融合（Fusion of Base Layers）

　　④两尺度图像重建（Two-Scale Image Reconstruction）：将融合后的细节层与基础层相加重建。

三、Experiments

　　测试源图像：10对多焦点图像、可见红外图像、多模态医学图像

　　客观评价标准：熵（Entropy）、基于梯度的评价标准（gradient-based metric）、基于人眼视觉系统HVS的评价标准（HVS-based metric）、视觉信息保真度融合（VIFF）

　　待评价方法：SR-OMP、SR-SOMP、CSR-16、SCR-32、CSR-64、CSR-128