学习笔记之——视觉三维重建

Posted gwpscut

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了学习笔记之——视觉三维重建相关的知识,希望对你有一定的参考价值。

本博文为本人学习三维重建的学习笔记,本博文的大部分内容来源于网络各类教程博客,本博文仅供本人学习记录用

理论学习

视觉三维重建=定位定姿+稠密重建+surface reconstruction/mesh+纹理贴图

 SLAM与三维重建的区别(SLAM和三维重建有什么区别? - 知乎):

  1. sfm对应是无序的图像,而SLAM一般是有序的
  2. sfm不需要标定,而SLAM一般要
  3. sfm是offline,SLAM是online的

三维重建的应用场景

 colmap是目前state-of-the-art的sfm与mvs框架。本博文介绍的三维重建主要是colmap框架

前端

shift特征检测与描述

后端

sfm实战

MVS算法

三维重建实战colmap结合opoenmvs

TSDF (truncated signed distance function)

假如获得以下信息:

  1. 原始图片 (多视角)
  2. 对应的深度信息
  3. 相机的位姿
  4. camera内参

TSDF的更新与组合的过程,一步一步计算各个体素(voxel)的TSDF值,再把他们拼接起来。

而所谓的体素(voxel)就是一个一个的小方块,最终可以拼成3D重建的结果。如下图所示。三维重建的结果会放到一个立方体当中,而这个立方体就是由voxel组成的。步骤如下:

  • 创建一个大的空白区域(volume)
  • 这个区域由很多个小区域组成,每个叫voxel
  • 需要计算每个voxel的TSDF值及其权重

如下图所示。T就是截断的意思,太远或者太近都设置为定值。而一个体素的SDF值就是它到最近的表面的距离。设某个点X,为其中一个体素,而绿色线是离它的最近的一个平面,而P点则是平面上离X最近的一个点,他们之间的距离就是SDF。

而对于截断T,越接近0就是越近,越接近正负1就是越远。正负为面的前后

 

深度可以通过深度图或者深度相机获取。

 

 

 

 

参考资料

3D视觉工坊

GitHub - hku-mars/r3live: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package

GitHub - cdcseacave/openMVS: open Multi-View Stereo reconstruction library

GitHub - colmap/colmap: COLMAP - Structure-from-Motion and Multi-View Stereo

COLMAP — COLMAP 3.8 documentation

【三维重建基础与算法】2022最新首发!唐宇迪大佬全面讲解三维重建基础与算法,草履虫都能学会!可做毕设,能写简历-人工智能、机器学习、深度学习、项目实战_哔哩哔哩_bilibili

不错的一些开源工作

开源工作的总结:

https://github.com/wuxiaolang/Visual_SLAM_Related_Research

https://github.com/tum-vision/lsd_slam

https://link.springer.com/content/pdf/10.1007/978-3-319-10605-2_54.pdf

https://github.com/alejocb/dpptam

https://arxiv.org/pdf/1909.04250.pdf

https://github.com/HKUST-Aerial-Robotics/DenseSurfelMapping

https://wang-kx.github.io/pdf/quadtree_mapping.pdf

https://github.com/HKUST-Aerial-Robotics/open_quadtree_mapping

以上是关于学习笔记之——视觉三维重建的主要内容,如果未能解决你的问题,请参考以下文章

三维重建之多频外差解包裹学习笔记

三维重建之多频外差解包裹学习笔记

点云数据处理学习笔记

OpenCV2学习笔记:特征点检测之Harris法

详解深度学习三维重建网络:MVSNetPatchMatchNetJDACS-MS

深度学习背景下的图像三维重建技术进展综述