结构化PLP-SLAM：单目RGB-D和双目相机使用点线面的高效稀疏建图与定位方案
Posted Being_young
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了结构化PLP-SLAM：单目RGB-D和双目相机使用点线面的高效稀疏建图与定位方案相关的知识，希望对你有一定的参考价值。
文章：Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras
作者：Fangwen Shu Jiaxuan Wang Alain Pagani Didier Stricker
编译：点云PCL
代码：https://github.com/PeterFWS/Structure-PLP-SLAM.git
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
本文展示了一个基于视觉同时定位和建图系统，该系统利用点和线进行鲁棒的相机定位，同时具有分割平面重建（PPR）模块，该模块提供了一个结构化地图在跟踪的同时构建比例一致的地图，例如使用单个摄像机带来了重建具有尺度不确定性的几何图元的挑战，并进一步引入了捆集（BA）图优化的问题。通过在重构的线和平面上提出几个运行优化来解决这些问题，然后，根据单目框架的设计，使用深度和双目传感器对系统进行扩展。结果表明，我们提出的同时定位建图紧密结合了语义特征，提高了前端跟踪和后端优化，在各种数据集上对我们的系统进行了详尽的评估，并开源了代码(https://github.com/PeterFWS/Structure-PLP-SLAM).
主要贡献
本文提出了一个模块化的单目同时定位和建图系统，除了标准特征点外，还利用了线跟踪和建图、实时分割平面重建和节点图优化，同时证明了可以在校正地图的情况下进行环路闭合检测，并基于预先构建的点-线图重新定位模块，然后，使用RGB-D和双目相机机扩展提出的建图方案，通过这种方式构建了结构化的稀疏视觉同时定位和建图方法，一个紧密结合语义特征的多功能框架。考虑到添加的特征线引入了更多的不确定性，并减慢了跟踪和优化速度，它被设计为对噪声输入具有鲁棒性，例如训练的CNN可能会对看不见的图像产生噪声预测，相机观察到的环境在实际中非常多样化，因此当点仍然是基本的几何图元时，在不强制任何强大假设的情况下重建和优化线和平面，因此我们的系统不局限于小规模场景。在室内数据集TUM RGB-D、ICL-NUIM和EuRoC MAV上对SLAM进行了详尽的基准测试。与其他最先进的同时定位和建图系统相比，本文给出的结果以及一些优越的定量结果。工作流程如图1所示，定性地表明我们重建的地图是准确、直观和高效的。
图1 本文的方案流程
主要内容
A、 基于结构的单目同时定位和建图
除了特征点之外，还需要适当设计帧到模型策略，其中相机位姿和地图在BA中迭代优化，因此，需要正确表示三维线段，并在迭代优化中使用相应的雅可比矩阵，然而，在单目同时定位和建图中，定义平面图的重投影误差并非易事，因此我们在三维点和三维平面之间添加了约束。
1） 充分利用线段：2D线段由LSD方法提取，并通过LBD描述子进行跨帧匹配。如PL-VINS所述，通过参数调整和长度抑制策略调整LSD的参数，以在计算效率和准确性之间实现最佳权衡，按照同样的方法，我们实现了线段提取，比OpenCV的原始实现快3倍。
2） 利用三维平面结构：在单目同时定位和映射中重建三维平面并非易事，因为只能获得有限的三维信息，如果我们试图重建从单个图像（不限于垂直布局）观察到的所有可能的平面实例，则很难强制执行曼哈顿假设。我们试图解释SLAM后端中3D点和3D平面之间的成对关系，并利用几何关系最小化其间的3D距离，如图3（b）所示。在这里，无限平面表示为π，其中n是平面法线，d是到世界原点的距离。
图3: 3D平面 a）利用空间优化的3D平面拟合的示例，它由给定的实例平面分割初始化，请注意，有两个平面被错误地分割为一个平面（通常是因为纹理相似），可以通过在3D局部邻域图中的图切割来分离，如高亮所示（b） 3D点的可能分布
B、 仅运动BA和局部BA
在这项工作中，点和线的重投影误差仅在运动BA和局部BA中最小化，因此，总体成本函数为
由于平面在统计上拟合在最佳位置，三维点和三维平面之间的距离最小，因此相关的三维点投影在平面上。
C、 闭环检测和全局BA
单目同时定位和建图的闭环检测旨在找到最佳验证环路候选（关键帧）后估计7自由度相似变换Sim(3)：
在这项工作中，闭环检测仍然使用基于ORB特征构建的给定DBoW词典，然后根据等式计算3D线相似性变换。
D、 重定位
基于特征的SLAM中的现有方法利用BoW的全局描述子进行图像检索，然后使用EPnP的闭式解初始化迭代优化，对运行时场景要有所限制，因此，如mono PL-SLAM中所做的那样，用EPnPL简单地替换EPnP不会带来显著的改善，在这项工作中，我们利用具有点和线重投影误差的BA，提供更好的精细相机位姿。请注意，我们优化了线的正交表示，而不是强制端点对应从EPnPL复制，这意味着我们的方法自然更有效，并避免了线段的移位歧义。
实验
A、 单目
fr3_structure_texture_far (dataset TUM RGB-D)
living_room_traj0 and living_room_traj2 (dataset ICL-NUIM)
MH_04_difficult (dataset EuRoC MAV)
Sequence_00 (data_odometry_gray, dataset KITTI)
RGB-D
fr2_pioneer_slam (dataset TUM RGB-D)
office_room_traj0 (dataset ICL-NUIM)
Stereo
MH_04_difficult (dataset EuRoC MAV)
V1_03_difficult (dataset EuRoC MAV)
视觉同时定位和建图系统的性能：在表一和表二中，我们给出了与其他最先进系统相比，我们的单目SLAM的轨迹误差，评估数据集ICL-NUIM提供了低对比度和低纹理合成室内图像序列，这对于单目同时定位和建图非常具有挑战性，而TUM RGB-D数据集提供了不同纹理和结构条件下的真实室内序列。在第三列中我们的方案中可以观察到在同时定位和建图中添加具有良好的重投影误差的线段的有效性。
图5：重新定位模块的评估，我们说明了序列freiburg3中所有重新定位图像的绝对位姿误差（APE）[m]，其中x轴表示相对时间戳。
表三：在数据集ICLNUIM上评估的RGB-D同时定位和建图给出了ATE-RMSE[cm]统计结果
表四：在数据集TUM RGB-D上评估的RGB-D同时定位和建图给出了ATE RMSE[cm]统计结果
总结
本文提出了一种稀疏视觉同时定位和建图方法，该方法利用点和线段进行稳健的摄像机定位，而平面是地图的附加部分，可以直观地说明场景的结构，通过实验给出了综合评价，并给出了各种重建图的定性结果，验证了我们的方法的可靠性，由于该系统是基于单目假设设计的，因此未来的工作将是将该全同时定位和建图系统推广到更具挑战性的场景，例如在无纹理场景中。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
以上是关于结构化PLP-SLAM：单目RGB-D和双目相机使用点线面的高效稀疏建图与定位方案的主要内容，如果未能解决你的问题，请参考以下文章