3D重建中的可视外壳(visual hull)

Posted 2023-01-21 3A是个坏同志

目前，人们主要通过三种方式来获取三维模型：

1. 利用传统几何造型技术直接构造模型
2. 利用三维扫描设备对真实物体进行扫描，进而重建出模型
3. 利用从各个视角拍摄的真实物体的多幅图像重建模型

由图像重建三维模型技术又可分为两类：一类是通过多幅深度图像重建模型，另一类是通过多幅照片生成物体的可视外壳。

Visual hull（可视外壳）是由Laurentini引入的有形状到轮廓的3D重建技术构建的几何实体。这种技术假定场景中的前景物体可以和背景相分离。基于这样的假设，原始图像可以经过阈值化处理成前/背景二值图像，我们将这种图像称作轮廓图像（silhouette image）。所谓的轮廓，是相应3D前景物体的2D投影。伴随着相机观看参数，轮廓定义了后向投影的涵盖实际物体的通用锥体。这个锥体被称作轮廓锥体（silhouette cone）。两个锥体相交的地方被称作可视外壳，它是实际3D物体的几何边界。

所以说，可视外壳就是由空间物体的所有已知侧影轮廓线决定的该物体的凸包。当利用透视投影的方式从多个视角观察某一空间物体时，在每一个视角上都会得到一条该物体的侧影轮廓线。这条侧影轮廓线和对应的透视投影中心将共同决定一个三维空间中一般形状的锥体。显然，该物体必将落于这个锥体之内;而由所有已知侧影轮廓线和对应的透视投影中心决定的锥体的交最终将决定一个包含该物体的凸包，这个凸包就是物体的可视外壳。在多数情况下，空间物体的可视外壳是该物体的合理逼近。

Martin和Aggarwal 最早提出了用多幅照片生成可视外壳的方法。他们利用真实物体在照片上的侧影轮廓线和相关的相机参数实现了物体的三维重建。Chien等人采用八叉树结构来表示物体的可视外壳。这种八叉树结构是通过预先在平行投影照片上生成表示物体的四叉树的基础上建立的。Potmesil和Szeliski同样建立了可视外壳的八叉树表示，但输入改为从任意视角拍摄的透视投影照片。Garcia 等人也提出了一种改进的八叉树表示方法。