使用适用于 iOS 的 Google Vision API 添加 2D 或 3D 人脸过滤器，例如 MSQRD/SnapChat

Posted 2023-03-16

【中文标题】使用适用于 iOS 的 Google Vision API 添加 2D 或 3D 人脸过滤器，例如 MSQRD/SnapChat

【英文标题】：Add 2D or 3D Face Filters like MSQRD/SnapChat Using Google Vision API for iOS

【发布时间】：2018-05-04 22:47:39

【问题描述】：

以下是我迄今为止所做的一些研究： - 我使用 Google Vision API 来检测各种面部特征。 这是参考：https://developers.google.com/vision/introduction

这是获取面部标志的示例代码的链接。它使用相同的 Google Vision API。这是参考链接：https://github.com/googlesamples/ios-vision

我浏览了互联网上的各种博客，上面写着基于 Google 的云愿景的 MSQRD。这是它的链接：https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0

对于 android，以下是参考： https://www.raywenderlich.com/158580/augmented-reality-android-googles-face-api

有多个付费 SDK 可以完全满足目的。但它们的价格很高。所以买不起。 例如：

1)https://deepar.ai/contact/

2)https://www.luxand.com/

有些人可能会将此问题视为重复： Face filter implementation like MSQRD/SnapChat

但是这个话题已经有将近 1.6 年的历史了，还没有正确的答案。

我浏览了这篇文章： https://dzone.com/articles/mimic-snapchat-filters-programmatically-1

它描述了实现预期结果的所有基本步骤。但他们建议使用自己制作的 SDK。

根据我的研究，没有足够好的材料来帮助完全填充所需的结果，例如 MSQRD 面部过滤器。

另一个 Github 存储库具有相同的实现，但它没有提供太多相同的信息。 https://github.com/rootkit/LiveFaceMask

现在我的问题是：

如果我们使用 Google Vision API（甚至使用 DiLib），我如何在其上添加 2d 或 3d 模型。这是什么格式 需要像这样完成需要一些带有顶点的 X,Y 坐标 计算。

注意：我浏览了 Google 的“GooglyEyesDemo”，其中添加了 在眼睛上预览图层。它基本上增加了面部的视图。所以我 不想在它上面添加 UIView 一维预览层。图片 附上供参考：

https://developers.google.com/vision/ios/face-tracker-tutorial

创建模型：我也想知道如何为现场创建模型 过滤器，如 MSQRD。我欢迎任何软件或格式推荐。 希望我所做的研究能帮助其他人和其他人 经验帮助我达到预期的结果。让我知道是否有 需要更多详细信息。**

附上图片以供参考：

谢谢 哈利

【问题讨论】：

您找到解决方案了吗？我有同样的任务需要执行。

【参考方案1】：

您需要预测 x,y,z 坐标（查看 this 演示），或者使用 x,y 预测，然后找到通用 3d 模型和相机的参数，该参数将给出当前 x 的最接近投影，是的。

【参考方案2】：

canvas类在android中用于绘制这样的3D/2D模型或者IOS可以使用核心图形。 您可以做的是检测面部组件，获取它们的位置点并在它们之上绘制图像。 Consider going through this