从单张图重建三维人体模型综述

Posted 2022-07-14 wx62cecd4679aef

《3D Human Body Reconstruction from a Single Image via Volumetric Regression》

本文提出使用端到端卷积神经网络通过体积回归直接重建人体的三维几何结构。所提出的方法不需要拟合形状模型，并且可以从各种输入类型（无论是标记点、图像还是分割模板）进行训练。此外，不可见的部分，无论是自遮挡的还是其他的，仍然被重建，这与深度图回归不同。我们提出的结果表明，我们的方法可以处理姿态变化和详细的重建给定适当的数据集的训练。

《Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction》用深度学习近似表示隐函数对于重建三维曲面非常有效。但是，它们只能生成不可控的静态曲面，这使得通过编辑其姿势或形状参数修改生成模型的能力有限。然而，这些特性对于为计算机图形学和计算机视觉构建灵活的模型是必不可少的。在这项工作中，我们提出了一种结合丰富细节的隐式函数和参数化表示的方法，以便重建即使在有衣服的情况下也能保持可控和精确的三维人体模型。给定在穿着者表面上采样的稀疏3D点云，我们使用隐式网络（IP网络）联合预测穿着者的外部3D表面、内部身体表面以及与参数化身体模型的语义对应关系。随后，我们使用对应关系将身体模型拟合到内表面，然后将其非刚性变形（在参数化身体+置换模型下）到外表面，以捕捉服装、面部和头发细节。在全身数据和手部扫描的定量和定性实验中，我们证明了所提出的方法是通用的，即使是从单视点深度图像收集的不完整点云，该方法也是有效的。我们的模型和代码将公开发布：(http://

virtualhumans.mpi-inf.mpg.de/ipnet)

更多计算机视觉与图形学相关资料，请关注微信公众号：计算机视觉与图形学实战

论文下载请在公众号内回复：paper

如果您认为上面的内容对您有一定的价值，可以对我们进行小小的赞助，来支持我们的工作，因为后续打算构建自己的网站，谢谢：