点线特征融合的单目视觉里程计

Posted 2020-12-02 jessica-jie

点线特征融合的单目视觉里程计---袁梦1*李艾华1

为了解决地下工程场景下巡逻机器人的定位与建图问题，提出了一种点线特征融合的单目半直接视觉里程计。本算法分为特征提取、状态估计和深度滤波器三个线程。特征提取线程负责图像点线特征的提取，之后状态估计线程利用点、线特征不同的匹配与跟踪策略获得相机的 6 自由度位姿，并通过帧与帧、特征与特征、局部帧之间约束关系进一步优化相机的位姿。深度滤波器线程通过概率分布的方式刻画 3 维路标点相对于相机光心的深度信息，该方式相对于固定深度值的方式能够提高深度估计的鲁棒性。

特征提取线程对输入的图像提取 Fast 角点和 Canny 边缘特征。

位姿估计线程首先采用光流法进行初始化，之后采用直接稀疏法求解相机位姿。根据特征点共视情况，对两个关键帧和局部多个关键帧的位姿进行优化，得到更加准确的位姿估计。

深度滤波器线程是用纯高斯概率分布来刻画两帧图像之间三角化得到的深度值，得到鲁棒性更强的 3D 路标（Landmark）的坐标值，进而加载到地图中供位姿估计使用。单目视觉里程计存在尺度漂移的问题，本文中采用计算相似变换（Sim3）来矫正尺度漂移的问题。整个算法流程框图如下图 1。

视觉里程计包括前端位姿估计与后端位姿优化。

位姿估计核心是特征提取与匹配跟踪，同时需要考虑因单目没有尺度需要进行相机初始化、关键帧选择以及特征丢失时进行重定位的问题。

位姿优化主要考虑帧与帧、局部帧（共视关系的图）之间的位姿优化问题。本文采用由深度估计收敛的 3D 路标点和关键帧的位姿组成的稀疏地图。