像素级图像融合综述

Posted 2023-02-03 SSyangguang

最近看了一篇17年像素级的图像融合方法综述Pixel-level image fusion: A survey of the state of the art，主要讲了基于多尺度分解和稀疏表示的融合方法，此外还包括评价指标讨论和在遥感、医学、红外可见光、摄影等领域的融合应用总结。文章很长全是字，好不容易才看完，在这里分享一下。

Abstract

像素级图像融合用于多种输入图像的融合，融合得到的图像对于人眼观察或者算法分析来说都提升了信息量，因此在遥感图像、医学影像和暗光数据中应用广泛。本文对像素级图像融合方法、融合图像评价手段、主要应用、未来挑战都做了总结。

Introduction

图像融合分为像素级、特征级和决策级，本文所说的像素级融合是直接在输入层面对原始图像进行了融合，主要是在视觉方面和计算机处理方面提升信息量。很多领域的应用都已经受益于多个图像的融合策略，例如遥感图像中，低分辨率多光谱 (MS) 图像和高分辨率全色 (PAN) 图像用于获得包含具有增强空间分辨率的多光谱图像光谱内容的融合图像；医学图像中，融合多个模态的数据可以使分析更为可靠准确；监控应用中，可以融合多个频段的图像，例如融合红外图像和可见光图像。

多模态应用主要增长原因包括：低成本高质量图像技术的发展，用模态融合可以克服一些传感器图像质量不高的缺陷；信号处理与分析算法的发展，例如稀疏表示，多尺度分解等对融合算法的提升较大；不同应用中获得的互补图像的数量和多样性不断增加，例如遥感领域卫星图像可以获得不同空间位置、时间、频谱的各种图像。

遥感领域重要的综述包括1.Synthesis of multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics ；2. A critical comparison among pansharpening algorithms ；3. Multi-source remote sensing data fusion: status and trends 。医学领域的综述为Medical image fusion: A survey of the state of the art 。

1 像素级图像融合方法

像素级图像融合流程可以用下图表示，主要包含三个步骤：图像变换、变换系数融合、逆变换。

根据图像变换方式不同，现有的融合方法主要可以分为四类：1.基于多尺度分解的方法；2.基于稀疏表示的方法；3.直接对图像像素或在其他变换域中执行融合的方法，如主成分空间、HSI色彩空间等；4.结合以上各种模型的方法。

同时也可以根据融合策略也是融合中的一大关键技术，它决定了融合图像选择原始图像的变换系数或者像素信息如何组合，下表展示了各种基于像素的融合方法（具体文献是什么可以看本篇原文）。

1.1 基于多尺度分解的方法：该类方法在融合与其他图像处理任务中都非常好用，下图为这类方法的示意图。

首先，用多尺度变换获得输入图像的多尺度表示，即在联合空域-频域中的特征表示。然后，不同图像的多尺度表示用特定规则进行融合得到，如系数的活动水平、邻接像素之间的相关性、多尺度系数等。最后在融合表示上通过逆多尺度变换获得融合图像。这类方法有两个基本问题：1.多尺度分解的方法；2.融合策略。下面介绍一些解决这两个问题的方法。

多尺度分解方法：先前研究主要用混合方法和小波变换，如拉普拉斯混合、离散小波分解DWT、静态小波分解等。近些年也有dual-tree complex wavelet、curvelet、contourlet、shearlet等方法。离散小波分解具有一些缺陷，如偏移方差、混叠和方向性缺失等。Dual tree complex wavelet transform 解决了上述问题。关键优势就是平移不变性和方向选择性，可以减少DWT引入的伪影。但是小波变换的各类衍生方法存在不能较好表示图像的边缘和曲线的问题，所以也引入了多尺度几何分析工具增强图像中的结构表示，如curvelet、contourlet。contourlet可以捕获图像中内在几何结构，对二维信号处理也更擅长。shearlet则是计算效率更高，方向数量也没有限制。

近年保边滤波器在图像多尺度表示中应用较好，如1. Edge-preserving decompositions for multi-scale tone and detail manipulation ；2.The multiscale directional bilateral filter and its application to multisensor image fusion ；3. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with gaussian and bilateral filters 等。除了保边滤波器还有 anisotropic heat diffusion, log-Gabor transform, and support value transform 等方法也取得较好应用。总体来说这类方法优势是能够准确分离精细尺度的纹理细节、中等精细程度的边缘和大尺度上空间结构的能力。这种特性有助于减少融合过程中的光晕和混叠伪影，从而能够获得有利于人类视觉感知的融合结果。

除了多尺度分解方法，分解等级也会影响融合图像的质量，如果分解等级较少，融合图像的空间质量可能会不佳，如果分解等级过多，计算效率则会降低。所以最好能够确定不同任务的最佳分解等级，如 Performance comparison of different multi-resolution transforms for image fusion 在不同图像融合应用中的不同滤波器都研究了各种分解等级的效果， Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion 研究了具有特定分辨率的多光谱图像与全色图像融合的最优分解层数估计。

多尺度表示的融合策略：提高融合效果的另一个办法是融合策略的选择。以往方法包括系数、窗口、区域的加权融合、最大值融合。近年来的方法可以获得更好效果，如 A multiscale approach to pixel-level image fusion

 将融合看做为优化问题。A new metric based on extended spatial frequency and its application to DWT based fusion algorithms  使用基于PCA的方法融合基部，细节系数（小波变换的其余四分之三部分）用最大值策略融合，然后进行邻域形态学处理，提高了系数选择的一致性，从而减少了融合图像的失真。Contrast-enhanced fusion of multisensor images using subband-decomposed multiscale retinex   提出了一种融合多尺度分解的加权平均方法，通过结合全局加权和局部加权来确定不同尺度下的权重参数，使得该方法对噪声不敏感，能够很好地保留图像细节。 A general framework for multiresolution image fusion: from pixels to regions  首先对输入图像进行多分辨率分割，然后利用分割结果指导融合过程。Cross-scale coefficient selection for volumetric medical image fusion  提出了一种新的跨尺度融合规则，用于基于多尺度分解的医学图像融合，同时考虑到尺度内和尺度间的一致性。 此外，通过使用广义随机游走方法优化不同尺度的权重，可以有效利用相邻像素之间的空间相关性。Image fusion with guided filtering  没有使用全局优化方法。 提出一种基于引导过滤的加权平均方法来融合输入图像的多尺度分解。

总体来说，这类方法主要研究热点集中在了多尺度分解这里，融合的研究相对少些，不过近年的研究在融合方面获得一些进步，弥补了多尺度变换的不足。在配准不佳或者噪声较多时，最大值融合或者平均法容易使融合结果存在伪影，在通过充分利用相邻像素之间的强相关性和不同尺度系数之间的相关性后，这些问题实际上可以得到有效的解决。

1.2 基于稀疏表示的方法：通过模拟人类视觉系统的稀疏编码机制，稀疏表示在很多图像处理任务中都很成功，如去噪、插值、识别等。稀疏表示可以通过从过完备字典中选择atom的稀疏线性组合来描述图像（或图像块），所得权重系数是稀疏的，即系数中只有少量非零元素可以有效表示图像的显著性信息。Multifocus image fusion and restoration with sparse representation  首次将稀疏表示用于图像融合，做法是首先将图像切割为多个重叠的patch以获取局部显著性和保持平移不变性，然后在同一个过完备字典上对每个patch进行分解，得到相应的稀疏系数。再对不同模态图像的系数进行融合，使用融合系数和字典进行重构得到融合图像。整个过程可以用下图表示。稀疏表示的方法主要问题有：1.稀疏编码获得系数；2.字典构建。

稀疏编码获得系数：如前面提到首个将稀疏表示应用到融合的模型中就使用了orthogonal matching pursuit (OMP) 算法获得patch，获得的非零系数随机分布，最近的一些研究发现非零元素可能表示了一些结构。Group-sparse representation with dictionary learning for medical image denoising and fusion 引入了群稀疏约束，以保证得到的稀疏系数具有群稀疏性。Image fusion with local spectral consistency and dynamic gradient sparsity 在稀疏解中加入梯度稀疏性约束，使稀疏系数更准确地反映边缘的锐利程度。由于多源图像是从同一场景中获取的，因此这些图像之间存在很强的相关性。Pixel-level image fusion with simultaneous orthogonal matching pursuit 利用同步OMP（simultaneous OMP）对同一字典上多个源的patch进行联合分解，使得不同源的非零系数出现在同一位置。

字典构建：字典构建大体上有两种方式：基于数学模型（如 discrete cosine transform, wavelet, curvelets ）和基于样例学习（K-SVD, method of optimal direction ）上文提到的首个将稀疏表示应用到融合的模型中采用数学方法来构造字典，由于每种数学模型只针对特定的结构，所以这类字典对自然图像的表示能力有限。Pixel-level image fusion with simultaneous orthogonal matching pursuit 利用多种数学模型构建混合字典，虽然可以反映多种结构但是仍然对不同结构的适应性还是较差。其余还有很多工作也在大量数据集上学习得到了过完备字典，虽然适应性增强，但是单一的字典仍然较难准确反映复杂结构。因此 Joint patch clustering-based dictionary learning for multimodal image fusion  首先将训练样本聚类成多个结构组，然后在每个组上训练一个特定的子词典。这样，每一个子词典都能很好地适应特定的结构，整个词典具有更强的表示能力。 Fusion of multispectral and panchromatic images via sparse representation and local autoregressive model  分别构建了多光谱图像和全色图像融合的光谱字典和空间细节字典。

总体来说，基于稀疏表示的融合方法仍然基于传统融合策略，如基于窗的方法，最大值和加权平均等。和多尺度分解类似，融合策略是一个研究方向。

1.3 其他域的方法：也有很多方法不是基于多尺度分解和稀疏表示的。一些方法直接计算了输入图像的加权和作为融合结果，也有将图像变换到其他域的，下文将针对这两类方法进行解释。

像素域方法：图像融合一种很直接的方法就是对像素点直接加权平均，通常根据不同像素的活动水平来确定权重。例如支持向量机和神经网络的方法都是将活动水平最高的像素点作为融合目标，而小波变换系数则是将这类像素作为特征。为了利用空间背景信息，Combination of images with diverse focuses using the spatial frequency 将输入图像分成均匀的patch，并使每个patch的空间频率最大化。为了自适应地确定最优patch大小，Multi-focus image fusion using a morphology-based focus measure in a quad-tree structure 利用四叉树结构来获得最优的patch划分。不过这类方法容易在目标边界上产生瑕疵。也有基于区域的图像融合方法，首先进行图像分割得到的形状不一的区域后再进行融合。基于分割的方法的问题是严重依赖于对图像分割的准确性。

另一种方式是充分利用相邻像素空间相关性，可以通过对初始像素级权重图的后处理来实现。 基于局部特征计算权值，然后基于图像抠图对权值进行细化。Multi-focus image fusion with dense SIFT 测量源图像块的活动水平以获得初始决策图，然后通过特征匹配和局部活动水平比较对决策图进行细化。Fast multi-exposure image fusion with median filter and recursive filter  提出了一种基于边缘滤波的初始权值细化方法。Generalized random walks for fusion of multi-exposure images  通过使用基于随机游走的优化来考虑邻域信息。QoE-based multi-exposure fusion in hierarchical multivariate gaussian CRF  进一步改进了该方法，在分层多变量高斯条件随机场模型中，利用最大后验概率（MAP）估计得到最优融合权值。Multi-focus image fusion based on robust principal component analysis and pulse-coupled neural network 先利用鲁棒主成分分析方法将源图像分解为主成分矩阵和稀疏矩阵，然后以局部稀疏特征作为脉冲耦合神经网络的输入，进行权值估计。 A total variation-based algorithm for pixel-level image fusion 提出了一种基于全变差的方法来融合多源图像，而不是执行像素的加权平均，其中成像过程被建模为局部仿射模型。

变换到其他域的方法：基于颜色空间和降维也有很好的方法，例如HSI空间变换、PCA、Gram-Schmidt等。这类方法在遥感领域融合低分辨率多光谱图像和高分辨率全色图像中应用很广泛。融合通常是通过用高分辨率全色图像代替多光谱图像的强度或第一主成分来实现的。 这种成分替换策略在整个图像上以相同的方式进行，可以认为是一种全局方法。全局融合策略保证了融合后的图像能够很好地保留输入图像的空间细节。但是这种方法没有考虑到输入图像之间的局部差异，因此可能会在融合图像中造成颜色失真。一些工作希望可以自适应估计待替换的最优成分。An adaptive IHS pan-sharpening method 通过最小化亮度成分与全色图像之间的差异，自适应地估计不同波段的全局权值，构造最优的亮度成分。A new adaptive component-substitution-based satellite image fusion by using partial replacement 使用线性回归模型生成合成成分，并且根据亮度分量与全色图像的相关性，只对成分进行部分替换。Combining the spectral PCA and spatial PCA fusion methods by an optimal filter  应用了matting模型，将输入图像分解为光谱前景、光谱背景和alpha分量，然后进行基于成分替换的遥感图像融合。

不过上述方法主要是全色图像和灰度图像的融合，也有工作做了其他类型的融合。Pixel-based and region-based image fusion schemes using ICA bases 使用ICA方法进行了多焦点图像融合。Poisson image fusion based on markov random field fusion model 输入图像的显着结构首先在梯度域中融合。 然后，通过求解泊松方程来重建融合图像，该方程迫使融合图像的梯度接近融合梯度。Image fusion using intuitionistic fuzzy sets 在图像融合中应用直觉模糊集理论，其中输入图像首先被转移到模糊域，然后使用最大和最小操作进行融合。

组合多种变换的方法：和多模态融合一样的思路，也可以组合多种变换来获得每种变换的优势，弥补缺陷。多尺度变换虽然在不同尺度提取各种空间结果，但是不能稀疏地表示低频分量，由于低频分量包含大量能量，这时如果直接用平均或最大值选取低频系数则会降低融合效果。稀疏表示可以通过字典学习从多源图像获得有效表示，但是字典中atoms数量的限制使小尺度细节信息较难重构。基于HSI色彩空间和PCA的方法虽然速度快，融合效果也好，但是不能直接用在啊如多焦点融合、多曝光融合等应用。

所以也有一些工作将多种变换组合进行融合。Hybrid multiresolution method for multisensor multimodal image fusion 提出了混合多分辨率方法，组合了小波和contourlet。实验表明，混合小波方法比基于单个小波或轮廓波的方法具有更好的性能。A general framework for image fusion based on multi-scale transform and sparse representation  提出了一种基于多尺度变换和稀疏表示的通用图像融合框架。首先使用多尺度分解方法对源图像进行分解。然后，利用稀疏表示法对低频分量进行融合，利用传统的融合规则对高频细节进行融合。最后进行多尺度逆变换得到融合图像。 Image fusion with morphological component analysis 提出了一种基于形态分量分析和稀疏表示的融合方法，该方法首先对源图像进行形态分量分析分解，然后采用基于稀疏表示的方法进行融合。Image fusion with nonsubsampled contourlet transform and sparse representation 提出了基于非抽样contourlet和稀疏表示的融合方法。MRI and PET image fusion by combining HIS and retina-inspired models  提出了HSI空间与多尺度分解相结合的医学图像融合方法。An IHS and wavelet integrated approach to improve pan-sharpening visual quality of natural colour IKONOS and QuickBird images  提出融合HSI和小波的融合方法，减少遥感图像融合中的颜色失真。

2 评价指标

融合结果较好可以理解为：1.融合图像保护了不同模态图像之间的互补信息和有效信息；2.融合算法不会产生任何可能分散人类观察者或进一步处理任务的视觉伪影；3.融合算法应当例如匹配不准和噪声大等情况鲁棒。同时，融合算法的研究中难以获得groundtruth，评价有时候靠人类主观评价，所以找到能够客观评价融合结果的指标也很重要。先前的评估方法主要分两类：一种需要能够参考的融合图像，另一种则不需要。

需要参考图像的客观评价指标：一些应用中融合图像可能是手动构建的，因此可以作为测试融合图像效果的groundtruth。例如遥感图像融合中，首先需要对输入的多光谱图像和全色图像进行降质，然后再进行融合，融合后的图像与原始未进行降质的图像作为groundtruth进行对比计算指标。在一些多焦点融合中，groundtruth也可以通过人工分割焦点准确区域的图像再拼合得到。这类有参考groundtruth的情况有多种指标都可以用，如经典的均方根误差（RMSE）和峰值信噪比（PSNR），不过这两个指标在一些场合中与人类视觉感知不是很一致，所以近些年提出了一些较新的评价指标作为备选。如 erreur relative globale adimensionnelle de synthèse (ERGAS)就是遥感领域中，基于计算不同波段的全局RMSE计算融合图像的光谱质量方法。除了计算逐像素的差异方法，还有测量结构信息损失的方法、测量具有相位一致性的局部结构的显著性。Gradient magnitude similarity deviation: A highly efficient perceptual image quality index 结合像素梯度幅度相似度和基于标准差的合并方案，构造了一种新的融合图像质量指标，不过没有只考虑结构信息的丢失。Two-dimensional approach to full-reference image quality assessment based on positional structural information  提出了一种基于两种不同度量的质量度量，其中一种度量基于有关结构位置的 Fisher 信息的损失，另一种表示图像的失真类型。为了研究人类如何解读可见光和红外图像，Towards cognitive image fusion 设计了实验来测试不同图像融合算法的性能。在测试中，首先通过手动分割一组输入图像来构造参考轮廓图像。得到的参考图像用于评估融合图像的手动分割结果。不过以上方法仍然具有以下缺陷：1.某些指标可能更适合评估融合过程中产生的一种图像失真类型，但对其他指标较差，这限制了这些指标在不同图像融合应用中的使用；2.对于跨分辨率图像质量评估还没有很好的解决方案。 例如，在遥感应用中，全参考图像融合度量只能在分辨率降低的环境中使用；3.对于彩色、多光谱、高光谱、三维体素等多通道图像，现有的全参考图像融合方法大多不能直接使用。

不需要参考图像的客观评价指标：不是所有应用都有groundtruth，所以不需要groundtruth的评价指标也很需要，这类评价方法主要分为两类：1.基于信息论的度量，只考虑有多少信息从输入转移到融合图像；2.基于局部特征的融合度量，评估从输入图像转移到融合图像的特征的相对数量（对人类视觉系统敏感）。

为了测量融合图像中保留的信息量也出现了很多评价手段，例如基于互信息的方法，互信息 (MI) 是对两个变量的联合统计分布之间距离的定量度量。Comments on “Information measure for performance of image fusion”  提出了一种归一化的MI度量，在评估过程中还考虑了不同源图像之间的熵差。 Image fusion metric based on mutual information and tsallis entropy  用Tsallis熵定义互信息度量。Image fusion performance metric based on mutual information and entropy driven quadtree decomposition 研究了一种基于四叉树分解的局部MI度量。 Performance evaluation of image fusion techniques 提出了一种用于融合质量评价的非线性相关系数，类似于互信息的定义。基于信息论的评价的一个共同限制是它们缺乏估计从源图像到融合图像的局部特征的变换。

为了基于信息论的度量的替代方案，出现了基于局部特征的客观性能度量。Objective image fusion performance measure 提出了一种基于梯度的融合度量，该方法估计从输入到融合结果的边缘信息量。A new metric based on extended spatial frequency and its application to DWT based fusion algorithms 提出了一种基于空间频率的度量，其中边缘信息被表示为沿不同方向的梯度。A feature-based metric for the quantitative evaluation of pixel-level image fusion  使用相位一致性来测量从输入图像到融合图像的图像特征量。还有基于结构相似性指数（SSIM）的图像融合度量方法来度量融合图像中结构信息的保存情况，如Focused pooling for image fusion evaluation 首先计算每个源图像和融合图像之间的逐像素 SSIM 映射。 然后，可以使用空间池化方案来获得融合性能的全局度量。由于人类视觉系统高度适应结构信息，因此，对融合过程中结构信息损失的测量可以提供对真实融合性能的良好近似。 除了SSIM，A human perception inspired quality metric for image fusion based on regional information 首先在整个图像上使用对比敏感度函数 (CSF)，然后在逐个区域的基础上估计传输的局部空间信息。A new image fusion performance metric based on visual information fidelity  提出了一种基于视觉信息保真度 (VIF) 的图像融合度量。

以上两类评价指标的对比：Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: A comparative study   对比了夜景融合的各类指标。Theoretical analysis of correlation-based quality measures for weighted averaging image fusion 对应用于加权平均融合算法的不同质量度量进行了理论分析。Perceptual quality assessment for multi-exposure image fusion 测试了在多曝光图像融合的不同融合指标。目前已有不需要参考图像的客观评价指标有很多挑战：1.很多评价指标只能用于灰度图像，对于具有多通道的彩色图像，适当考虑颜色变化可以显著提高融合度量的性能；2.在某些应用中，输入图像可能是在动态场景中捕获的，或者包含噪声和图像模糊。 因此，针对这些不完美的情况推广现有的度量标准是有用的；3.如何实时进行质量评价。

3 主要应用

遥感领域：下图是遥感领域图像融合的例子，分别为多光谱和全色图像的融合与多光谱与高光谱图像的融合。

第一个例子是全色锐化，已经在Google Earth 和 Google Map中广泛应用。检测和分类的结果也受益于全色锐化图像。获取具有数百个连续光谱带的场景的高光谱 (HS) 成像在土地覆盖分类和光谱分离中很有用。但是目前技术限制了高光谱图像的分辨率，甚至比多光谱还要差，因此 Spatio-spectral fusion of satellite images based on dictionary-pair learning 融合了全色、多光谱、高光谱图像来提高空间分辨率。

此外，由于多通道的多光谱图像同时包含光谱信息和空间信息，已有的全色锐化不适合多光谱和高光谱图像的融合。除了上述模态外，还有SAR成像、LiDDAR、MODIS等模态应用在了图像融合。Landsat ETM+ and SAR image fusion based on generalized intensity modulation 将全色锐化推广到了多光谱与高分SAR的融合。An area-based image fusion scheme for the integration of SAR and optical satellite imagery 提出了应用于全色图像、多光谱和SAR基于区域的融合方法。Improving sensor fusion: A parametric method for the geometric coalignment of airborne hyperspectral and LiDAR data 提出了一种时空数据融合方法，通过结合 Landsat 和 MODIS 数据合成 Landsat 影像，此外还研究了机载高光谱和激光雷达数据的融合，整合光谱和高程信息。

上图还展示了各种遥感领域的数据集，如IKONOS、Quickbird、Worldview-2均源自卫星图像。相比于全色图像和多光谱数据，配准的高光谱和多光谱数据更难获得。现有的融合解决方案大多是基于高光谱图像的特定波段获得的合成多光谱图像，如机载可见红外成像光谱仪（AVIRIS）和反射光学系统成像光谱仪光学传感器（ROSIS）采集的图像。不过随着遥感卫星技术提高，未来将能够获取不同空间分辨率的高光谱和多光谱图像。此外，目前也已经有机载高光谱图像和LiDAR数据集了。

这个领域存在的主要问题：1.光谱和空间失真。 如上所述，遥感图像融合中使用的数据集通常在光谱和空间结构上表现出许多不同之处。 在这种情况下，融合过程可能会对这些结构产生失真，从而在融合图像中引入光谱和空间伪影；2.配准问题。实际应用需要减少配准错误的影响，遥感领域的图像常源于不同时间、光谱带、传感器的数据，即使同一平台的全色和多光谱数据的传感器也可能对准了不同方向，采集时间可能也不同。为了解决这一问题，现有的大多数图像融合方法都要求在融合前对源图像进行精确配准。然而，由于输入图像之间的显著差异，特别是对于通过不同采集捕获的图像，配准是相当困难的。

医学影像：下图展示了医学影像融合的例子，即MRI和PET的融合、MRI与CT的融合。MRI的主要优势在于可以捕捉器官的软组织结构，CT则可以以高分辨率形式捕捉骨结构，PET是核医学成像，图像通常空间分辨率较低。将CT、MRI、PET通过融合使用可以提高诊断准确率。此外还有融合SPECT和超声成像的方法。

网站http://www.med.harvard.edu/AANLIB/home.html 包含了已经配准后的CT、MRI、PET数据集。

该领域主要问题包括：1.缺乏面向临床问题的融合方法。医学图像融合的主要目标是帮助获得更好的临床结果。 然而因为需要医学领域知识和算法洞察力，设计针对特定临床问题的方法仍然是一项具有挑战性却重要的任务；2.如何使用客观指标评价融合结果，这也需要针对不同的临床问题来设计；3.匹配不准，和之前遥感数据融合类似。

视频监控：下图是视频监控中红外图像与可见光图像、白天与晚上图像的融合应用。红外图像会根据温度来显示目标，不受光线条件不足的影响，不足是分辨率较低。不过可见光的分辨率较高，所以可以通过将这两种模态数据融合来弥补红外图像的不足。白天和夜间图像的融合，通常被称为 denighting，是监控应用的另一项重要技术，夜景图像由于光照不足导致信噪比较高，相对于白天拍摄的图像对比较较低且噪声较多，通过融合就可以显著提高夜景图像的质量。近年也有可见光、红外、近红外图像的融合方法用于图像去雾、人脸识别、军事侦察等。

红外和可见光图像数据集可见http: //www.ece.lehigh.edu/SPCRL/IF/image_fusion.htm  和http://www.metapix.de/indexp.htm 。人脸识别有Equinox数据集集成了长波红外和可见光图像。还有彩色热敏行人数据集：http://vcipl-okstate.org/pbvs/bench/ 。对于denighting也有数据集：http://web.media.mit.edu/∼raskar/NPAR04/ 。

主要问题包括：1.计算效率问题。由于大多视频监控应用要求实时处理，所以这类融合应用需要提高处理速度；2.鲁棒性。由于视频监控应用可能会处于各种恶劣环境，有光照不足、气象条件差等环境因素造成图像噪声大、欠曝严重等问题，所以融合算法要对这类图像较为鲁棒。

摄影应用：下图是融合在摄影中的应用，即多焦点融合和多曝光融合。多焦点融合是由于相机一定光圈大小下景深限制，使得只要焦平面内的物体是清晰的，想要画面内所有物体都清晰就需要对多个焦点的图像进行融合。融合后的图像能够很好地保留原始数据中的相关信息，因此在许多机器视觉和图像处理任务中具有很高的应用价值。与多聚焦图像融合的思想类似，多曝光图像融合的目的是将多幅不同曝光的图像进行融合，得到一幅完全曝光的图像。还有一种应用是融合使用闪光灯和不使用闪光灯的图像，因为在暗光条件下使用闪光灯也通常会造成红眼、强光反射、背景过曝目标欠曝等伪影问题。

多焦点融合的数据集有：http://dsp.etfbl.net/mif 。多曝光融合数据集：http://www.easyhdr.com 、Waterloo IVC Multi-Exposure Fusion Image Database 。此外数据集Petrovic´ image fusion database 同时提供了多焦点和多曝光数据。

存在的主要问题包括：1.移动目标的影响。多焦点和多曝光融合都是需要拍摄多张照片，所以每张照片的拍摄时间不同，很可能目标存在移动的问题。这种移动的目标可能会对融合目标造成拖影等问题；2.在消费者电子产品中应用。这类方法在民用摄影设备中应用较为广泛，所以将多曝光融合与多焦点融合集成在消费级电子产品中也很重要。

4 未来研究趋势

虽然人们提出了各种图像融合和客观性能评价方法，但目前在不同的应用领域仍存在许多开放性问题。本节分析了遥感、医学诊断、监视和摄影等不同应用领域的未来趋势。

在遥感领域中，主要问题是如何在融合多光谱、高光谱和全景图像时减少视觉失真。 此外，虽然输入图像通常是在同一平台上捕获的，但不同的成像传感器并不完全聚焦在同一方向上，采集时间也不完全相同。 在这种情况下，由于源图像之间的分辨率和光谱差异，配准较为困难。 最后，由于遥感传感器的快速发展，开发用于融合新型飞机或卫星传感器捕获的图像的新算法将是一个热门的研究课题。

在医学图像领域，配准同样困难，因为医学图像通常是用不同方式采集。 更重要的是，设计针对特定临床问题的方法是医学诊断的一项具有挑战性和重要的任务，因为融合方法的设计需要医学领域知识和算法设计能力。 此外，由于所需的融合性能可能与一般图像融合不同，因此对医学图像融合方法的客观评价也是一个具有挑战性的课题。

在监控视频中应考虑两个要求。 一方面，融合方法需要计算高效以便实时处理。 另一方面，由于图像采集条件在室外环境中可能会发生巨大变化，因此设计对噪声、欠曝或过曝等条件下融合的鲁棒性是一个非常重要的问题。

在摄影领域，由于输入图像可能在不同的时间拍摄，拍摄过程中运动物体可能出现在不同的位置，从而在融合图像中产生拖影。设计应对这种配准不准的方法是该领域的一个重要问题。 此外，另一个研究方向是如何将图像融合算法应用于嵌入式消费类相机系统，以实现实际摄影应用。