Improving RGB-D SLAM in dynamic environments: A motion removal approach

Posted 2021-01-30 我爱螺

一、贡献

（1）提出一种针对RGB-D的新的运动分割算法

（2）运动分割采用矢量量化深度图像

（3）数据集测试，并建立RGB-D SLAM系统

二、Related work

[1]R.K. Namdev, A. Kundu, K.M. Krishna, C. Jawahar, Motion segmentation of multiple objects from a freely moving monocular camera, in: Robotics and Automation(ICRA), 2012 IEEE International Conference on, IEEE, 2012, pp. 4092–4099.

利用多几何约束与密集光流分割运动物体，并整合至SLAM系统。

[2]T. Lim, B. Han, J.H. Han, Modeling and segmentation of floating foreground and background in videos, Pattern Recognit. 45 (4) (2012) 1696–1706.

通过检查具有极线约束的密集光流，从图像第一帧获得运动提示，最初的运动分割作为种子向后传播。将一帧图像切割成等大的块，在核密度模型中利用传播的运动分割结果以块为单位学习背景和前景外观。运动分割与传播模型反复迭代得到当前结果。

[3]K. Moo Yi, K. Yun, S. Wan Kim, H. Jin Chang, J. Young Choi, Detection of moving objects with non-stationary cameras in 5.8 ms: Bringing motion detection to your mobile device, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2013, pp. 27–34.

速度快，硬件要求低。采用了块技术，采用双模单高斯模型对每个块进行描述，一个单高斯模型作为显性的模型，另一个作为候选模型。双模单高斯模型提供了两个容器来接收数据，从而避免了前景点污染了真实的背景模型。当一个模型的age大于另一个时，两个模型作交换。使用从单应性计算的自我运动将块与传播混合。

[4]A. Teichman, J.T. Lussier, S. Thrun, Learning to Segment and Track in RGBD, IEEE Trans. Autom. Sci. Engrg. 10 (4) (2013) 841–852.

提出了基于RGB-D数据的运动去除算法，结合大量分割线索来构造条件随机场(CRF)模型，分割线索包括光流，视觉外观，颜色，深度的不连续性等。该方法的训练过程是确定能量函数中每个线索的权重。假设在第一次迭代时给出了初始的手动标记分割。当前帧的CRF分割结果作为下一帧中CRF模型的运动似然。利用传递的方式将运动物体从每一帧里递增式得分割出来。

[5]D. Giordano, F. Murabito, S. Palazzo, C. Spampinato, Superpixel-based video object segmentation using perceptual organization and location prior, in: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June
2015.

运动线索是通过检查超像素在连续帧中变化获得的，作者发现超分像素的改变一般是在运动的物体上，将超分像素从当前帧传播到上一帧。使用上一帧中重叠最大部分的超分像素与传递的超分像素来计算Jaccard距离。采用自适应阈值以通过计算的Jaccard距离确定传播的超像素是否属于移动物体。 使用高斯混合（MOG）技术将超分像素分类以建立前景与背景外观模型。 使用图形切割框架进一步优化运动分割。

[6]Y. Wang, S. Huang, Towards dense moving object segmentation based robust dense RGB-D SLAM in dynamic scenarios, in: Control Automation Robotics & Vision (ICARCV), 2014 13th International Conference on, IEEE, 2014.
pp. 1841–1846.

与本文关联最大。采用了[7]中提出的运动分割方法，并将其集成到RGB-D SLAM系统中，结果是基于TUM数据集。

[7]J. Sturm, N. Engelhard, F. Endres, W. Burgard, D. Cremers, A benchmark for the evaluation of RGB-D SLAM systems, in: 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, IEEE, 2012, pp. 573–580.

三、方法

1、基于自我运动补偿图像差分粗略地检测运动物体运动。

2、通过使用粒子滤波器跟踪运动来增强运动检测。

3、对矢量量化深度图像应用最大后验（MAP）估计，以精确地确定前景。

应该注意的是，该论文方法中跟踪的是运动补丁但不是移动物体。 我们的方法不同于大多数跟踪技术，它们构建移动对象的模型并跟踪构建的模型。

利用RGB通过RANSAC求出两帧之间H单应矩阵，通过用运动补偿的最后RGB帧减去当前RGB帧来粗略地检测运动对象运动。 不在3D中补偿RGB-D点云帧的原因是当距离增加时，深度测量误差呈二次方增加。