我们能否在 Android 中使用 ARCore Augmented faces 找到人脸旋转（左侧/右侧）？

Posted 2023-03-16

【中文标题】我们能否在 Android 中使用 ARCore Augmented faces 找到人脸旋转（左侧/右侧）？

【英文标题】：Can we able to find face rotation (on left/right side) using ARCore Augmeted faces in Android?

【发布时间】：2021-04-29 09:18:44

【问题描述】：

我正在使用ARCore Augmented faces 在 android 中创建 Try-out-Jewellery App。我创建了支持 3 个不同的鼻环和 1 个 Mang Tikka（头饰）的应用程序。您可以在 youtube 上找到我们 Try-out-Jewellery App 的参考视频。

ARCore 增强面部网格只覆盖正面的点，不包括与面部耳朵部分相关的点。

我也尝试过 Google's ML Kit Face Detection API 来检测耳朵，但我无法在那里使用 3d 模型文件（.obj、.glb 文件），它使用Graphic Overlay 用于增强面部图像。我尝试使用图形叠加并添加位图到使用 MLKit 检测到的面部元素，但它看起来不像真实的，而且叠加图像也有深度相关的问题。

根据上述增加耳环的场景，我有 1 个问题。

我们能否使用 ML Kit 人脸检测 API 使其渲染具有 .glb、.obj 扩展名的 3d 模型文件？

下图是 ARCore 增强面部 API 中使用的面部网格索引。

【问题讨论】：

说到 ML Kit，Face API 目前只提供 2D 地标，所以我觉得这里帮不了你。

嗨，普拉迪普。我看你的 youtube 视频。我想知道你如何在 ios/android 中使用 ARCore 获得 468 个地标点。你能帮我解决这个问题吗？ ***.com/questions/68450636/…

【参考方案1】：

您可以从 faceNode 对象中找到增强面中的人脸旋转。

faceNode.localRotation.x