相似性的结构相似性

Posted 2023-04-13

参考技术A

结构相似性指标(英文：structural similarityindex，SSIMindex)是一种用以衡量两张数位影像相似程度的指标。当两张影像其中一张为无失真影像，另一张为失真后的影像，二者的结构相似性可以看成是失真影像的影像品质衡量指标。相较于传统所使用的影像品质衡量指标，像是峰值信噪比(英文：PSNR)，结构相似性在影像品质的衡量上更能符合人眼对影像品质的判断。

CFOG：快速精确的结构相似性多模态匹配算法（含matlab程序，已成功商业化）

文章目录

• 一、前言
• 二、CFOG原理
• 三、实验结果
• 四、总结
• 五、知识产权

一、前言

上一节我们介绍了HOPC匹配算法，该算法可以实现可见光、红外、SAR、LiDAR和地图等多种多模态遥感影像的自动配准，但是该方法计算效率较低，不能很好满足实时处理的需要。因此，我们介绍一种HOPC的改进算法，名为方向梯度特征通道（Chanel Feature of Orientated Gradient，CFOG），该算法获得“2017年国际摄影测量与遥感地球空间周最佳青年论文奖”，是西南交通大学叶沅鑫老师发明的，对应的期刊论文为“Yuanxin Ye, Lorenzo Bruzzone, Jie Shan,et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration.IEEE Transactions on Geoscience and Remote Sensing, 2019,57(11), 9059-9070”。CFOG算法的主要思想通过逐像素的刻画影像结构特征，并通过傅里叶变换进行加速匹配，提高了影像匹配的精度和效率，CFOG目前被国内知名上市公司（北京航天宏图）使用了，并集成于该公司的PIE遥感图像处理平台。CFOG的matlab程序、相关实验数据和论文的下载链接为Link

二、CFOG原理

CFOG的思想来源于HOG。HOG将图像划分为若干个Block，每个Block由2*2个cell组成，然后计算每个block的梯度方向直方图向量，再把每个block的特征向量安装一定的间距收集并链接起来，形成描述整个图像的特征向量。HOG可以刻画影像的全局结构特征，但是直接利用其进行匹配，效果不太理想。是因为HOG是一个相对稀疏的特征向量，不能非常精确刻画影像的特征。另外为HOG的计算效率较低，不能进行快速的匹配。鉴于此，我们在HOG的基础上提出一种新型的结构特征描述符——CFOG，它通过计算每个像素的梯度方向直方图，对影像进行逐像素的特征表达，可精细地刻画影像的结构特征，另外将结构特征转化到频率空间，并利用快速傅里叶变换进行加速匹配，极大地提供了计算效率。CFOG匹配算法主要包括以下两个步骤：
1、CFOG描述符(图1)：
（1）计算图像的多个方向（比如9个）的梯度特征，将每个方向的特征在Z方向进行排列，形成三维的多方向梯度特征图。
（2）构建一个近似三维的高斯卷积核，对三维的多方向梯度特征图进行卷积，生成CFOG描述符。其中三维的高斯卷积核的作用为，在二维XY方向的卷积可以替代三线性内插生成方向直方图，在Z方向的卷积是在梯度方向进行操作，可以减少局部几何畸变对于特征向量的影响。

图 1 CFOG的构建过程

2.频率域空间加速匹配
这里利用CFOG的差平方和（即SSD）进行匹配，为加快运算速度，利用FFT对SSD运算进行加速，具体的推导过程请见论文“Fast and Robust Matching for Multimodal Remote Sensing Image Registration”。因为频率域的点乘运算等同于空间域的卷积运算，所以利用FFT可以将运算速度提高几十甚至上百倍。

CFOG可以视为一种扩展的逐像素HOG描述符，相比于HOG，CFOG的主要改进有：（1）在构建一个Block的特征向量时，只计算一个cell的特征信息，这样可以减少计算量，而且匹配性能几乎不受影响；（2）HOG是利用三线性内插来生成方向直方图，这样非常耗时，而CFOG是利用高斯卷积生成逐像素的方向直方图，计算效率高；（3）在频率空间进行模板匹配，极大提供了匹配效率。

三、实验结果

这里选择可见光、红外、LiDAR、SAR和栅格地图等多种多模态遥感影像来测试，匹配结果如图2所示，另外CFOG的计算速度是非常有效的，明显高于HOG、HOPC、互信息（MI）等，而且还高于我们经常使用的相关系数（NCC），如图3所示，可以满足实时处理的需要，已经被多项实际工程使用。


图2 基于CFOG的多模态遥感影像同名点匹配示意图

图3 在不同模板尺寸下CFOG与其它算法的计算效率对比图

---

四、总结

这里介绍一个快速精确的多模态影像匹配算法——CFOG，该算法是HOPC算法的改进版，同样利用结构特征进行影像匹配，提高了匹配精度，同时显著地提高了计算效率，使其可以满足实时处理的需要，目前已经成功地实现了成果转化，并被上市公司使用，以及应用于多项实际工程。

五、知识产权

CFOG算法已经获得国家发明专利，而且已经授权与国内上市公司使用，在没有发明者同意的情况下，只能将其用于科学研究，不能将其任何形式的项目或者商业化应用。