三维点云到人体重建

Posted 2022-07-14 wx62cecd4679aef

《FrankMocap: A Monocular 3D Whole-Body Pose Estimation System via Regression and Integration》

大多数现有的单目 3D 姿态估计方法只关注身体的一个部分，而忽略了人体运动的基本细微差别通过面部、手部和身体的微妙动作的音乐会。在在这篇论文中，我们提出了 FrankMocap，一种快速准确的全身3D姿态估计系统，可以在野外同时获得 3D 面部、手和身体

单眼图像。 FrankMocap 是通过模块化设计来实现：我们首先对人脸运行 3D 姿态回归方法，手和身体独立，然后组成通过集成模块进行回归输出。单独的回归模块使我们能够充分利用他们在不妥协的情况下最先进的结果，原始的准确性和可靠性在实践中。我们开发三种不同的集成模块，它们之间进行权衡延迟和准确性。所有这些都能够提供简单而有效的解决方案，以将单独的输出统一为无缝的全身姿态估计结果。我们定量和定性地证明我们的模块化系统优于基于优化和估计全身姿势的端到端方法。代码和视频：https://github.com/facebookresearch/frankmocap

《FrankMocap: Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration》

尽管人体运动的本质细微差别经常被传达为身体运动和手势，现有的单眼动作捕捉方法主要集中在身体动作捕捉上仅忽略手部或仅手部动作捕捉不考虑身体运动。在本文中，我们提出FrankMocap1，一个可以估计的动作捕捉系统来自野外单眼的 3D 手部和身体运动输入速度更快（9.5 fps）和更高的准确性

比以前的工作。为了构建 FrankMocap，我们构建最先进的单眼 3D“手”动作捕捉采用全身参数模型（SMPL-X）的手部方法。我们的 3D 手部动作捕捉输出可以有效地集成到单眼身体运动中捕获输出，产生全身运动结果统一的参数化模型结构。我们展示了我们手部动作捕捉的最先进性能系统在公共基准，并显示出高质量我们的全身动作捕捉导致各种具有挑战性的现实世界场景，包括现场演示场景。

更多计算机视觉与图形学相关资料，请关注微信公众号：计算机视觉与图形学实战

论文下载请在公众号内回复：paper如果您认为上面的内容对您有一定的价值，可以对我们进行小小的赞助，来支持我们的工作，因为后续打算构建自己的网站，谢谢：