Unity ARKit XR 插件 – 人脸追踪

Posted

技术标签:

【中文标题】Unity ARKit XR 插件 – 人脸追踪【英文标题】:Unity ARKit XR Plugin – Face Tracking 【发布时间】:2021-05-15 05:47:47 【问题描述】:

我在导出项目后遇到问题。不知道是什么原因,几分钟后我的手机就变热了。

项目是新建的,没有任何脚本,添加ARKit XR Plugin即可。

【问题讨论】:

【参考方案1】:

对于任何运行增强现实应用程序的设备来说,这都是很常见的“热状况”。 ARKit、RealityKit、ARCore、Vuforia 或 MRTK 的跟踪阶段是高度 CPU 密集型的。您的手机不仅可以以 60 fps 的速度跟踪和重建周围环境,还可以同时使用 PBR 着色器、纹理、阴影、动画和物理渲染 3D 几何体。

在某些情况下,Face trackingWorld tracking 更占用 CPU。这是可能的,因为来自自拍相机的 RGB 通道与来自 TrueDepth 传感器的分段 Alpha 通道和 ZDepth 通道串联。并且有 50 多种面部混合形状以 1/60 秒的速度变形几何体。

请特别注意,用 Swift 编写的原生 Xcode 构建的 ARKit 应用程序(使用 UIKit,尤其是 SwiftUI)比 Unity 构建的 ARKit 应用程序运行速度要快得多。

【讨论】:

以上是关于Unity ARKit XR 插件 – 人脸追踪的主要内容,如果未能解决你的问题,请参考以下文章

VRIK+Unity XR Interaction Toolkit 实现VR上半身的追踪(附带VRM模型导入Unity方法和手腕扭曲的解决方法)

智能追录器——基于人脸识别,图像处理,机器人视觉交叉领域

每台 iOS 设备支持多少人脸跟踪?

为啥 iPhone XR、XS 和 XS Max 没有将环境图像应用到 ARKit 中的场景?

存储 ARKit 点云数据并检索显示

为什么iPhone XR,XS和XS Max不会将环境图像应用到ARKit中的场景?