适用于 Android 的计算机视觉和 AR 库？

Posted 2023-02-18

【中文标题】适用于 Android 的计算机视觉和 AR 库？

【英文标题】：Computer Vision and AR libraries availabe for Android?

【发布时间】：2011-02-01 14:34:00

【问题描述】：

我刚开始是一名 android 开发人员，我想知道是否有任何适用于 Android SDK 的计算机视觉库或增强现实库，因为我计划将这些库用于移动应用程序。

我已经读过，如果我下载 NDK，我可能能够“导入/使用”C openCV 和 ARtoolkit 库，但我想知道这是否可能，或者是否有更好、更简单的方法使用这些工具。

Android 应用程序使用 Java 编程，而 OpenCV 和 ARtoolkit 使用 C/C++。有什么方法可以使用这些库吗？

【问题讨论】：

ARToolKit 的用户有两个Android 选项，都支持JDK 编程。适用于 Android 的 ARToolKit Professional 在内部使用本机代码，但通过一个漂亮的接口将其公开给 JDK。或者，您可以使用基于 Java 的 AndAR。

【参考方案1】：

有a number of wrappers for OpenCV 可用。对于 Java，您可以查看JavaCV。

据我所知，AR with OpenCV on Android 上有 GSoC 活动，但他们似乎使用 C++。

【参考方案2】：

Qualcomm 正在处理Augmented Library for Android。如前所述，opencv 也是一种选择。

【参考方案3】：

我想知道有没有 计算机视觉库或增强型 Android SDK 的现实库

在 SDK 中？不可以。您可能希望将现有的适用于 Android 的 AR 应用程序（Layar、WIKITUDE）用作您的基础。

有什么方法可以使用这些 图书馆？

通过 Google 快速搜索出现 this 和 this。

【参考方案4】：

Layar 已将Layar Vision 提供给开发人员：

Layar Vision 使用检测、跟踪和计算机视觉技术 增强物理世界中的对象。我们可以分辨出哪些对象在 现实世界被增强了，因为对象的指纹 根据用户层预加载到应用程序中 选择。当用户将他们的设备对准与 指纹，我们可以快速返回相关的AR体验。

[...]

Layar Vision 将应用于以下 Layar 产品：

Android 和 iPhone ios 平台上的 6.0 版 Layar Reality 浏览器。 iPhone Layar Player SDK v2.0. Android Layar Player SDK的第一个版本。 Layar Connect v2.0。

最简单的解决方案是create a Vision layer，然后使用launcher creator for Android创建一个图层启动应用。

【参考方案5】：

您可以使用 OpenCV 的官方 Android 端口 OpenCV4Android 在 Java 中进行编码。如果您想使用原生 C++ OpenCV 代码，请查看Android NDK。

【参考方案6】：

Android 上有一个新的 CV 选项，Google Mobile Vision API。 API 通过com.google.android.gms.vision 公开，可让您检测给定任意图像位图的各种类型的对象（面部、条形码和面部特征）。

此外，Google 还提供了Cardboard VR library 和Unity plugin，让您更轻松地开发 VR 应用程序 - 如果您集成了手机的摄像头，此类应用程序可能包括基于 Mobile Vision 的 AR。

【讨论】：

我认为不可能在 Unity 应用中使用 Google Mobile Vision API，对吧？

有可能 - 我不确定 Google 目前是否提供插件。

【参考方案7】：

现在 Google 为我们提供了 2 个强大的 SDK：ARCore 和 ML Kit。

ARCore API 具有增强图像、增强人脸和云锚等重要功能。它支持 Kotlin/Java 语言、在模拟器 (AVD) 上调试应用程序以及借助 Sceneform 进行基于物理的渲染 (PBR)。

ML Kit API 通过功能强大且易于使用的软件包将 Google 的机器学习专业知识带给移动开发人员。尽管 ML Kit 仍处于测试阶段，但它允许您使用以下重要功能：图像标签、文本识别、人脸检测、条形码扫描和地标检测。