最近新开源的基于单目稠密重建NeRF-SLAM
Posted Being_young
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了最近新开源的基于单目稠密重建NeRF-SLAM相关的知识，希望对你有一定的参考价值。
点云PCL免费知识星球，点云论文速读。
文章：NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields
作者：Antoni Rosinol John J. Leonard Luca Carlone
编辑：点云PCL
代码：https://github.com/ToniRV/NeRF-SLAM.git
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。
公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
这是一个结合单目稠密SLAM和层次化体素神经辐射场的3D场景重建算法，能实时地用图像序列实现准确的辐射场构建，并且不需要位姿或深度输入。论文的核心思想是，使用一个单目稠密SLAM方法来估计相机位姿和稠密深度图以及它们的不确定度，用上述信息作为监督信号来训练NeRF场景表征。
主要贡献
第一个提出了场景重建结合了单目稠密SLAM和层次化体素神经辐射场的优点，该方法从一系列图像中构建精确的辐射场，而不需要姿态或深度作为输入，并实时运行，在单目方法的数据集上实现了最先进的性能。
主要内容
从左到右，输入RGB图像，估计的深度不确定性，反向投影的深度图到点云中，在通过其不确定性 对深度进行阈值化以进行可视化之后，以及从与输入图像相同的视点呈现的所得神经辐射场，本方案能够在仅给定RGB图像流的情况下实时重建神经辐射场。
算法包含跟踪和建图两个并行的线程，跟踪模块使用单目稠密（dense monocular）SLAM估计稠密深度图（dense depth maps）和相机位姿，同时会输出对深度和位姿的不确定度估计，后端建图使用前端的输出信息作为监督，训练一个辐射场（radiance field），其损失函数是颜色误差和带权重的深度误差，权重值由先前的不确定度得到。
图2显示了流程框架
实验结果
更多详细内容请加入知识星球查看原文。
资源
自动驾驶及定位相关分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
结构化PLP-SLAM：单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案
如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶
以上是关于最近新开源的基于单目稠密重建NeRF-SLAM的主要内容，如果未能解决你的问题，请参考以下文章