穆莉莉,等.BP神经网络在SLAM特征匹配中的应用

Posted 2021-04-26 测绘学术资讯

BP神经 网络在SLAM特征匹配中的应用

穆 莉莉 ，姚潘涛 ，郭 枫， 何 世政 ， 陈 凯

(安徽理工大学机械工程学院，安徽 淮南 232000)

摘 要： 针对移动机器人进行SLAM特征点提取时，因底层机器人搭载的硬件性能低、带宽窄，使用特征点提取算法对图像进行处理时要花费大量时间这一问题，该文提出一种新的方法。首先利用BP神经网络对图像进行压缩，然后进行特征提取，最后再通过RANSAC算法剔除误匹配。通过实验，在使用不同的压缩参数进行图像压缩重建后，再使用 SIFT 、SURF、 ORB 、 AKAZE 和 BRISK5 种算法在旋转、比例变化、模糊、视角变换、光照和JPEG压缩等情况下均有良好的匹配效果，压缩后图像大小大大减小，同时也保证了图像的质量，与原处理方法相比，匹配的准确度和匹配时间均优于原方法。

关键词 ： BP 神经网络；图像压缩；特征匹配

0 引言

随着计算机视觉技术的发展，图像处理的方法也越来越多，这给 VSLAM（visual simultaneous localization and mapping）带来 了极大的帮助。而特征匹配是VSLAM中极为关键的一步，特征匹配解决了 VSLAM中的数据关联问题，通过对图像 与图像或者图像与地图之间的描述子进行准确的匹配，可以为后续的姿态估计与优化等操作减轻大量负担 ^[1] 。图像匹配作为计算机视觉领域中的研究热点，为了更好地应用在行为识别 ^[2-4] 与VSLAM ^[5-8] 等算法中，如何提高特征匹配的准确性和降低时间计算成本成为研究的重点。图像特征匹配主要分为基于像素的灰度匹配 ^[9] 和基于区域的特征匹配 ^[10] 。特征是一种对于图像内容最抽象的描述，与基于灰度的匹配方法相比，几何图像和辐射度对特征匹配的影响不是很大，但特征提取方法的计算量很大，并且需要一些先验阈值，因此不便于实时应用。本文在使用常用的匹配算法进行特征提取之前，先将图像进行压缩处理，再对重建之后的图像进行特征匹配，最后从算法匹配速度、尺度变换鲁棒性和旋转鲁棒性 3 个方面分别说明各算法对压缩后的图像的实验结果。

1 BP 神经网络压缩

       图像压缩是一种高效地对数字图像进行编码的过程，目的是减少表示图像所需的比特数，在保持图像良好品质的同时，降低存储空间和传输成本。BP神经网络 ^[11] 作为理论与实践中运用最多的一种人工神经网络模型，其优点有：①网络结构是大规模并行的；②网络具有自适应性；③在训练阶段，网络以自组织的方式检测原始图像的压缩特征；④结构的内在泛化特性使其能够有效地处理训练集之外的图像。因此，本文选用BP神经网络进行图像压缩。利用 BP神经网络对 图像进行压缩和重建的过程如图1所示，主要包括图像块划分、归一化、训练样本、反归一化以及图像重建。

图 1 压缩重建过程

Fig.1 Compression Reconstruction Process

1.1压缩 步骤

1) 图像块划分。分别将图像大小调整为 128像素×128 像素,256像素×256像素,512像素 ×512 像素,1 024像素×1 024 像素这4种尺寸， 1 024像素×1 024 像素由于内存不足压缩失败， 512像素×512 像素的图像是剩余几种尺寸中所得到结果最好的，因此，本文中所有的数据集图片的大小均为为 512 像素 ×512像素；同时 为了控制神经网络规模，将图像划分为 16 384个4像素×4像素大小 的图像块，然后将每个图像块的数据重构为一个列向量，作为样本的训练向量，然后进行归一化数据处理。

2) 归一化。为保证性能的稳定性，进行了输入样本的归一化处理。通过归一化，可以将每个训练向量的像素值归一到0~1之间。

3)BP神经网络 训练。创建并训练好符合条件的BP网络，如图2所示。

压缩后的结果是每个输入模式对应的隐含层神经元向量的值以及网络的权值和阈值。再用Sigmoid函数（式（ 1 ））处理，即可得到隐含层神经元的值。

式中： 为输入层与隐含层之间的连接权值矩阵； 为隐含层第 个神经元的阈值。此时得到的结果为浮点数，为了提高压缩效率，将其量化为 5~8 比特的整数，最后保存变量数据。

图 2 BP神经网络示意图

Fig. 2 Schematic Diagram of BP Neural Network

1.2重建 步骤

1)读取 前面所保存的变量数据。

2)数据 反归一化。将每个数据除以 2⁵~2⁸ ，得到 0~1 之间的小数，再将重新映射到数据原区间中去。

3) 重建。将获取的隐含层的神经元输出值输入到网络中，与隐含层和输出层之间的权重矩阵相乘，得到输出层神经元的值，即：

4) 图像反归一化。将每个数据乘以255并取整。

5) 图像块恢复。将每一列抽出重新排列为 4×4矩阵 ，并对各个 4×4矩阵 按行排列，即可恢复原图像。

2 实验分析

选用5种算法对分辨率 512 像素 ×512像素 大小的 8组 图像数据进行实验，并分析其耗时情况和匹配精度。图像选用的是牛津大学公开的数据集（图3），运行环境为VS2013 + OpenCV3编译环境和 MATLAB2014a仿真软件， 硬件配置为 Intel i5-5200 CPU ，主频为 2.20 GHz,内存 为 12 GB 。

图3 牛津数据集的8个类别的示例图像

Fig. 3 Sample Images of Eight Categories in the Oxford Dataset

2.1 峰值信噪比及压缩比实验

通过修改 BP 神经网络算法中的参数来调节图像压缩的质量，将隐含层神经元个数,依次设置为 6、7、8、9、10，对各 类别的 6张 图片分别进行压缩，得到如图4所示的结果（图中的 K 代表划分大小， N 代表隐含层神经元个数）。

图4 牛津数据集中不同类别的数据压缩之后峰值信噪比的实验结果

Fig. 4 Experimental Results of PSNR after Data Compression of Different Categories in the Oxford Dataset

从图4中可以看出，当隐含层神经元个数设置为 6、7、8、9、10时 ，对旋转、比例变化、模糊、视角变换、光照和JPEG压缩等不同类型的数据进行压缩之后，得到的 240张重建 图像中峰值信噪比最大值为 39.541 2 dB ，最小值为 24.805 6 dB ，其中峰值信噪比在25 ~35 dB 中的数量为 223， 占总体比重的92.92 % ，峰值信噪比较好，说明得到的重建图像是可靠的，为后续的实验奠定了基础。

图 5 牛津数据集中不同类别的数据压缩比率的实验结果

Fig. 5 Experimental Results of Data Compression Ratios of Different Categories in the Oxford Dataset

从图5中可以看出（图中的压缩比率为压缩后的图像大小与原图像大小的比值，即图中纵坐标的值越小，说明压缩的效果越好），当隐含层神经元个数设置为 6、7、8、9、10时 ，对旋转、比例变化、模糊、视角变换、光照和JPEG压缩等不同类型的数据进行压缩之后，得到的 240张重建 图像中，随着模糊度的增加、光照强度的减弱或者 JPEG压缩的程度增大， 图像的压缩率逐渐提高，而图像尺度的变化和视角的变换对压缩率的影响不是很大。从整体来看，随着隐含层神经元个数的增加，图像的压缩率呈增大趋势。

       本文针对图像特征匹配率和匹配时间分析了经过图像压缩后的图片在使用5种算法进行特征匹配后的结果。

数据集中不同类型的数据在修改压缩算法的参数之后获得重建图像，用SIFT ^[12] 、SURF ^[13] 、 ORB^[14] 、 AKAZE^[15] 和 BRISK^[16]5 种特征提取算法分别对重建图像进行特征匹配后的实验结果如图 6 所示。

图6 同一算法下不同压缩参数的数据特征匹配实验结果

Fig. 6 Experimental Results of Data Feature Matching WITH Different Compression Parameters under the Same Algorithm

传统的特征点识别分析分别在算法匹配速度、旋转变换鲁棒性、尺度变换鲁棒性、模糊变换鲁棒性、光照变换鲁棒性和视角变换鲁棒性 6个 方面进行比较。本文采用的是进行匹配算法验证时应用率较高的牛津数据集，保证了数据的可靠性，通过比较图像匹配时的匹配率和匹配时间来验证各算法的鲁棒性。本文将从算法匹配速度、旋转变换鲁棒性和尺度变换鲁棒性 3 个方面详细说明各算法对压缩后的图像的实验结果。

2.2 算法匹配速度比较

       在图像特征识别中，算法的执行速度是衡量算法好坏的重要指标，在相同的软硬件条件下，比较相同的一对图像，如果匹配之后的效果大致相同，那么算法执行速度越快越好，本文中表现为用时越少越好。对数据集中ubc图集使用上述 5 种算法进行匹配，比较结果如表1所示。

表1 各算法匹配ubc图集的匹配用时

Tab.1  Matching Time of Each Algorithm to ubc Atlas         s

压缩方式	SIFT	SURF	ORB	AKAZE	BRISK
base	3.410018	3.691444	1.364776	1.080678	4.098385
K4N6	4.041912	4.164034	0.997594	1.212427	匹配失败
K4N7	3.965544	4.636904	1.113505	1.0379	4.496378
K4N8	3.987304	4.504112	1.082073	2.344515	7.73957
K4N9	4.007472	4.648834	0.915939	1.696348	4.544812
K4N10	3.65983	4.54416	1.033683	0.928641	7.863457

在使用不同的压缩参数对ubc图集的图像进行压缩之后，再使用 5 种匹配算法对重建图像进行特征匹配，从表 1中 可以看出， ORB 和 AKAZE两 种算法的匹配用时明显优于SIFT、 SURF和BRISK 。在图6 (f)中 ，综合特征点的匹配率和匹配时间， SIFT 和SURF算法对压缩后的图像进行特征匹配的结果大致相同，而使用ORB算法对压缩后的图像进行特征匹配时，效果均比原图匹配要好。

2.3 空间尺度鲁棒性和旋转变换鲁棒性比较

对同一图像进行一定角度的旋转和缩放，之后再与原图像进行特征匹配，实验对象为bark和boat图集，对两个图集中的图像使用不同的压缩参数进行压缩再匹配，得到如表2和表 3所示 的结果。

表2 bark图集使用不同压缩参数进行压缩再匹配的实验结果

Tab.2 Experimental Results of bark Atlas Using Different Compression Parameters for Compression and Matching

压缩方式	SIFT		SURF		ORB		AKAZE		BRISK
	匹配率	匹配 时间/s	匹配率	匹配 时间/s	匹配率	匹配 时间/s	匹配 率	匹配 时间/s	匹配率	匹配 时间/s
base	1	4.8164	0.985	4.0441	0.7662	1.0723	0.9875	0.9169	1	1.8986
K4N6	1	2.737	0.8918	5.7598	0.5882	1.2222	1	0.7871	0.972	8.098
K4N7	0.9688	2.2265	0.9181	4.6815	0.5825	0.9821	0.95	0.837	0.991	3.9584
K4N8	0.9913	1.431	0.8625	4.5938	0.5857	1.1134	1	0.5822	0.7947	7.6188
K4N9	0.9688	2.3322	0.9181	5.9583	0.5825	1.0551	0.95	0.8421	0.9911	4.2013
K4N10	0.9863	1.6507	0.7161	7.0564	0.6766	1.0296	0.9444	0.7124	0.8237	10.3923

由表 2可知 ，对bark图集原图像和使用不同压缩参数压缩后的图像分别进行特征匹配，在使用SIFT算法对 6 组数据进行匹配时，原图集和 K4N6 图集的匹配率都是百分之百，但是K4N7图集的匹配时间只有原图集的 57%，时间将近缩短了一 半。而另外4组图集的匹配率也都在 96% 以上，但是匹配时间都大大缩短，结合图 6(a)， 也说明在对原图集进行压缩重建之后，使用SIFT算法对bark图集的匹配效果更好。同样，使用 AKAZE算法对6组 数据进行匹配，压缩后的匹配效果也均比原图集的匹配效果好，而且其中K4N6和 K4N8图集 的匹配率和匹配时间均优于原图集，鲁棒性较好。

表3 boat图集使用不同压缩参数进行压缩再匹配的实验结果

Tab.3 boat Atlas Experiment Results of Compression and Re-matching with Different Compression Parameters

压缩方式	SIFT		SURF		ORB		AKAZE		BRISK
	匹配率	匹配 时间/s	匹配率	匹配 时间/s	匹配率	匹配 时间/s	匹配 率	匹配 时间/s	匹配 率	匹配 时间/s
base	0.7242	6.0929	0.6402	4.082	0.9028	1.0652	0.8521	1.6091	0.9465	5.3061
K4N6	0.598	7.2141	0.9139	3.3684	0.9747	0.6623	0.9169	2.4805	0.9333	7.2524
K4N7	0.5446	6.6739	0.618	4.5779	0.8634	1.1016	0.9628	1.682	0.9923	6.0534
K4N8	0.5036	6.3565	0.5776	4.1668	0.9288	0.9684	0.9891	1.3903	1	6.0787
K4N9	0.5446	6.5999	0.9209	3.0397	0.9897	0.6642	1	0.6635	0.9923	5.8361
K4N10	0.4483	7.5045	0.8944	3.8994	0.9375	0.9041	0.8791	1.9153	0.98	8.1695

对boat图集原图像和使用不同压缩参数压缩后的图像分别进行特征匹配，结果如表3所示，验证 SIFT算法 时，压缩后的图像匹配效果没有原图像的匹配效果好，验证 SURF 的实验结果显示，使用K4N6和 K4N9 图集的匹配效果都优于原图像，而在验证其它三种算法的实验结果中，也都存在压缩后重建图像的匹配效果比原图像的匹配效果好的情况。而结合匹配率和匹配时间，从图6 (b)中 ，也能看出在使用ORB和 AKAZE算法进行特征匹配时 ， K4N8和K4N9图集的匹配效果要优于原图像 ，保持了较好的鲁棒性。

3 结束语

       本文通过调整 BP 神经网络中隐含层神经元的数量对 8组 公开的数据集进行图像压缩，然后再使用常用的 5 种特征提取算法进行特征提取匹配，分别从算法匹配速度、空间尺度鲁棒性和旋转变换鲁棒性 3 个方面对匹配后的结果进行分析。实验研究结果表明，在使用BP神经网络对数据进行图像压缩之后，虽然会一定程度上降低图像质量，但是特征匹配率和匹配时间在随着 BP神经网络中隐含层神经元 数目的改变，均会出现优于使用原图像进行直接匹配的效果，采用BP神经网络进行图像压缩应用于移动机器人SLAM（ simultaneous localization and mapping ）特征提取具有良好的效果，对SLAM建图的方法研究具有一定的理论借鉴意义。

作者简介：穆莉莉（1972—），女，江苏徐州人，教授，博士，主要研究方向为移动机器人、智能测控。

E-mail：[e-mail]

联系微信：chxszx2018