3D 人脸的移动方式与 2D 照片不同。是不是有任何运动分析算法来检测这种差异？

Posted 2023-03-16

【中文标题】3D 人脸的移动方式与 2D 照片不同。是不是有任何运动分析算法来检测这种差异？

【英文标题】：A 3D face moves differently from a 2D photo. Are there any motion-analysis algorithms to detect this difference?3D 人脸的移动方式与 2D 照片不同。是否有任何运动分析算法来检测这种差异？

【发布时间】：2020-09-08 06:39:02

【问题描述】：

是否有任何运动分析算法来检测 2d 面部运动和 3d 面部运动之间的差异？

【参考方案1】：

我假设你在谈论一个视频。

您可以为视频中的每一帧提取 3d 地标，然后分析这些 3d 地标的变化以获取面部的运动分析。

提取 3d 地标的一种简单方法是使用 https://github.com/1adrianb/face-alignment

假设您的视频为 1..i..N 帧，并且您为每一帧提取了 3d 地标 LMK_i。

要分析帧之间的运动，您可以找到 LMK_i 和 LMK_i+1 之间的 3d 刚体转换。 （例如：python implementation of 3D rigid body translation and rotation

完成变换后，您可以从矩阵中提取旋转平移和缩放。

请注意，运动分析假设相机静止且不移动。如果相机也在移动，则需要在计算运动分析时添加考虑此运动