科研成果 | 基于卷积神经网络和迁移学习的无监督变化检测算法

Posted 2021-04-26 赛博智能

本文介绍了基于卷积神经网络和迁移学习的无监督变化检测算法，本工作由赛博智能团队的刘俊夫等人提出，相关论文已于2019年在领域期刊发表录用。

Liu J, Chen K, Xu G, et al. Convolutional neural network-based transfer learning for optical aerial images change detection[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(1): 127-131.

背景介绍

变化检测是指通过分析同一区域在不同时间采集的遥感图像，获取该地区地物信息变化的技术。随着深度学习的崛起，基于深度特征的遥感图像变化检测研究极具前景，但深度特征强大的表示能力往往依赖大量标签数据，而在实际场景中，往往较难获取这类标签数据，给基于深度学习的遥感图像变化检测带来极大挑战。

基于以上问题，本文提出了基于卷积神经网络和迁移学习的无监督变化检测算法，缓解了变化检测算法的标注压力。

算法介绍

本文算法主要分为以下几步，包括预训练语义分割模型、模型扩展与基于迁移损失函数的深度特征学习、差异图获取和结果生成与优化。

基于设计的迁移损失的双路卷积神经网络结构

预训练模型

变化检测算法的输入为两幅大小相等的图像，输出为等尺寸的标签图，其中每一个像素被赋予变化或无变化的二值标签，其输出与语义分割任务十分接近。本文利用标注数据相对充足的遥感语义分割数据集通过U-Net网络进行预训练，并对多级特征融合，提高模型的精度。

模型扩展与特征学习

考虑到卷积网络在特征提取方面的优秀性能，如果预训练模型提取的特征在变化检测数据集上仍具有一定的表示能力，则对于非变化像元，其像素点的特征向量距离应较小，反之，对于像素变化元，其像素点的特征向量距离应较大。

基于该思想，本文将两张图片在通过权值共享的双路卷积神经网络后，首先逐像素点计算特征向量之间的欧几里得距离，随后使用k-means聚类方法，将像素点聚为二类。

其中，将特征距离较大的像素点集合记为Ms，特征距离较小的像素点集合记为Ns。选取Ms中前m%大的像素点和Ns中前n%小的像素点，分别构建集合M和N。M和N即代表经过预训练模型后，来自于两张图像同一位置特征的欧几里得距离足够大和足够小的像素点。

迁移损失函数的第一部分的设计目标即为，对于M中的像素点，令其特征向量距离接近2，对于N中的像素点，令其特征向量距离接近0。其计算公式如下：

由于变化检测数据集与语义分割数据集的差异性，预训练模型提取的深度特征无法完全表征变化检测数据集，仅优化Loss1无法得到足够有效的结果。

因此，本文将Log差值法运用到变化前后的两张图像，随后利用k-means聚类算法将得到的差异图中的像素点聚为两类，根据差值大小分为变化像素和不变化像素，即得到一张整体粗糙但大体可以标示出变化区域的变化图，称之为假真值图。

变化像素点的标签将被置为2，不变化像素点的标签则被置为0。实验中通过利用该假真值图来提供目标变化检测数据集的语义信息，将之前生成的差异图接近该假真值图，来共同指导迁移学习的进行。迁移损失函数的第二部分可参考下式：

在优化Loss1的过程中，依赖预训练模型提取的具有强大表示能力的具有泛化性能的深度特征；在优化Loss2的过程中，目标变化检测数据集的语义信息被引入用来指导迁移学习的网络训练。两部分损失函数在优化过程中互相影响并牵制，实现最终的迁移学习训练。

由于Loss2使用的是假真值图，其中的误差信息可能会影响网络训练。因此，在训练过程中，Loss2将乘以影响因子α，在训练过程中α逐渐减小至0，假真值图的影响在此过程中也随之逐渐降低。因此，总迁移损失函数可表达为下式：

差异图获取

迁移学习完成后，将来自不同时相的图片送入训练完成的深度神经网络，即可获得逐像素的深度特征。对于来自不同时相图片的同一位置的像素点，再次逐像素计算特征向量之间的欧几里得距离，即可得到差异图。

结果生成与优化

对上一步骤中获取的差异图，利用k-means聚类将像素点聚成两类，即可得到初始变化图。初始结果图往往包含一些孤立的变化和非变化点，这些点往往是错误预测的结果，而且初始结果图中检测区域的边缘容易存在不平滑的现象，因此，将进一步使用基于k-近邻的方法更新差异图。

基于k-近邻方法更新差异图的思想是，使用每个像素点邻域的信息来更新其预测类别。其具体作法是，对每个像素点，选择其邻域中与该点距离最近的k个邻域点，然后统计这些点中出现频率最高的类别，将这个类别赋给该像素点。经k-近邻更新后，变化结果图中的孤立点被去除，检测区域的边缘也会变得平滑。

模型步骤示意图

实验结果

本文主要使用的数据集为STZAKI数据集。部分实验结果如下：

SZADA/1实验数据效果图

上面两幅图分别是变化前和变化后的图像，下面两幅图分别为真值图和结果图。与不同方法的性能指标如下：

两种无监督方法在两个数据集上的比较

本文方法在多数指标上取得较大优势。在TISZADOB/3数据集上本文算法的召回率较低，但对比实验方法的虚警率较高，且在F1值和精确率指标上皆与本方法存在较大差距。

已有无监督变化检测算法在选定原始差异图的高置信度样本后，其中存在的误差将一直影响网络的学习。而本实验中同样使用传统方法生成伪真值图，但在训练过程中不断降低伪真值图的权重，降低其可能的误差影响，实现了更优的检测结果。

参考文献：

[1] J. Lin, C. He, Z. J. Wang, and S. Li, “Structure preserving transferlearning for unsupervised hyperspectral image classification,” IEEEGeosci. Remote Sens. Lett., vol. 14, no. 10, pp. 1656–1660, Oct. 2018.

[2] M. Zhang, G. Xu, K. Chen, M. Yan, and X. Sun, “Triplet-based semanticrelation learning for aerial remote sensing image change detection,”IEEE Geosci. Remote Sens. Lett., vol. 16, no. 2, pp. 266–270, Feb. 2019.

[3] Y. Zhan, K. Fu, M. Yan, X. Sun, H. Wang, and X. Qiu, “Changedetection based on deep Siamese convolutional network for opticalaerial images,” IEEE Geosci. Remote Sens. Lett., vol. 14, no. 10,pp. 1845–1849, Oct. 2017.

■ 作者简介

刘俊夫，硕士研究生，导师为陈克明副研究员。2017年由中国科学技术大学保送至中国科学院大学，研究方向为遥感图像解译，2020年6月毕业后入职美团担任算法工程师。

编辑：王慎思

↓查看原论文