Vuforia unity开发摄像头问题

Posted 2023-04-06

参考技术A 原文地址 ： http://www.cnblogs.com/Erma-king/p/5646968.html

Vuforia unity开发摄像头问题

项目一直在赶进度，写博的时间越来越少了~从事Unity开发也快两个月了，AR方向~ 使用的是高通家的SDK

Vuforia。。。从工程融合一直到对unity和Vuforia的深层次的开发，新东西，毕竟坑多。。国内做AR开发的没有自家的SDK一般都是用国

外的SDK或则国内其他家的一些SDK吧~

使用这些SDK做AR开发都有共同的一个特性，都喜欢在Unity里面做开发。Unity之前一直是游戏引擎，直到Unity5.0版本出来后Unity

官方有一个方向转变，不仅仅是游戏引擎而且Unity可以做应用级别的开发，但是Unity应用级的开发是一个刚刚起步的开发，Unity里支持的东西不

够全面，扩张性不够强，脚本语言的控制和原生设备的兼容性也不够，就是因为这些原因，有了工程融合，ios、android的工程和Unity的工程融合

在一起开发，使得Unity的支持面更广，扩张性更强，很多Unity做不到的，或则难做的，就可以让原生来开发，这时候~unity就是一个万金油~

** 好了，本文主要讲解的是Unity对Vuforia的开发中在原生调用摄像头上遇到的坑~Unity中调用设备摄像头打开或则关闭，或则开关扫描识别问题等等一些情况~ 下面先说说趟过的坑，再说说解决办法，或则目前没有解决的问题 **

坑

先说说情况，移动端App的iOS的项目中有三个界面，其中一个就是扫描界面，扫面界面当让是Unity对Vuforia的开发导出的工程融合在原

生的项目中的~当我程序退出扫描界面后Unity和Vuforia应该处于暂停状态OnPause，笔者研究了一段时间，在iOS中使用

UnityInterface.h中暴露的暂停接口根本就没有让扫描暂停~如下图

笔者尝试了一次又一次的interface中的方法，相机就根本不能暂停，，原来童话里都是骗人的~可能 有人会想到暂停不了也没有什么大不了的

吧~ 我研究了一下国内的App，是有几款App没有暂停~例如幻视，，问题又来了，，既然相机不能暂停就不让他暂停呗~

可是我们的项目中有这样一个需求，见下图~

拍照功能~扫描界面不能暂停Camera，其他界面现在要调用Camera，，做过移动端开发的都知道，，Camera是实例化出来的，而且是单例，，如果再一次实例化这时候，程序 ~ 崩~

所以不把 摄像头暂停肯定不行~ 这时候笔者通过UnityInterface.h 的方法是Camera 暂停了，，这时候~

新的问题又出来了，，通过这样的方法使Camera暂停了，可是Vuforia还是在继续调用摄像头再继续扫面，，，虽然Camera

是关闭了，界面上看不到，这时候其实Vuforia还是在调用摄像头继续扫面，这时候~ 笔者想到的唯一办法就是

通过Unity内部去控制Vuforia，再向原生暴露需要调用的接口~ 所以有了以下方法~

解决办法

// 关闭相机publicvoidCloseCameraDevice()    CameraDevice.Instance.Stop();    CameraDevice.Instance.Deinit();// 打开相机publicvoidOpenCameraDevice()    CameraDevice.Instance.Init(CameraDevice.CameraDirection.CAMERA_DEFAULT);    CameraDevice.Instance.Start();// 关闭识别publicvoidCloseCloudReco()    CloudRecoBehaviour cloudRecoBehaviour = GameObject.FindObjectOfType(typeof(CloudRecoBehaviour))asCloudRecoBehaviour;    cloudRecoBehaviour.CloudRecoEnabled =false;// 打开识别publicvoidOpenCloudReco()    CloudRecoBehaviour cloudRecoBehaviour = GameObject.FindObjectOfType(typeof(CloudRecoBehaviour))asCloudRecoBehaviour;    cloudRecoBehaviour.CloudRecoEnabled =true;

上面这些方法是在Unity里面实现的，写在一个脚本里，挂在一个GameObject上供原生调用~

后来解决的坑~

Android在扫描界面打开闪关灯，因为扫描界面Unity调用了Camera，安坐的闪关灯是通过实例化相机来打开的~这时候Android拿不到Camera，因为Unity把Camera暂用了，，在扫描界面不能打开闪关灯~ 解决方法~如下

publicvoidOpenFlash()    CameraDevice.Instance.SetFlashTorchMode (true);publicvoidCloseFlash()    CameraDevice.Instance.SetFlashTorchMode (false);

人与人斗，其乐无穷。人与天斗——人定胜天！！！

Unity-Hololens-Vuforia开发（图片识别和模型识别）

Unity-Hololens-Vuforia开发（图片识别和模型识别）

有些东西纠结了许久，所以来记录一下

文章目录

• Unity-Hololens-Vuforia开发（图片识别和模型识别）
• 环境
• 一、环境要求
• 二、步骤
• • 1.创建新的Unity工程
  • 2.导入Vuforia
  • 3.导入MRTK
  • 4.Player Setting设置
  • 5.MRTK工程设置
  • 6.导入Vuforia图片识别、模型识别数据包
  • 7.测试
  • 8.Hololens打包
• 说在最后

---

环境

Hololens2
Unity 2020.3.16f1c1 (64-bit)
Visio Studio 2019 16.11.13
Vuforia 10.6.3

---

一、环境要求

MRTK正常运行要求Unity版本至少升级到2019.4，要求VS至少高于2019.16.8版本，除此以外注意一下Windows10 SDK的版本是否是最新的或者是适用的。
笔者这里的版本使用的是Windows 10 10.0.19041.0
要想部署到Hololens中，还需要额外确保Unity中安装了Windows Build Support（IL2CPP）和Universal Windows Platform Build Support

二、步骤

1.创建新的Unity工程

在File->Build Setting中切换平台至Universal Windows Platform，配置如下：

记得把Target Device改成HoloLens，Architecture应该是指从Unity导出之后是什么版本，这里选择x64或者ARM64应该都可以

2.导入Vuforia

在Vuforia官网下载SDK：Vuforia
版本如前述Vuforia 10.6.3
下载下来后是一个.unitypackage包，拖进Unity项目中，等待加载完毕。
如果弹出提示要求升级工程，点击“Update”即可。
到此即可在Hierarchy右键找到Vuforia引擎的选项了

添加ARCamera，在Hierarchy下删除原有MainCamera，在ARCamera的Inspector下选择Open Vuforia Engine configuration，添加License Key

回到Vuforia官网，在Develop→License Manager下申请新的License Key，Plan Type选择Basic即可。
复制Linces Key粘贴到ARCamera中

3.导入MRTK

下载MRTK管理工具，Mixed Reality Feature Tool：MRTK
管理工具下载好后打开如下：

点start选择要导入工程目录，目录是需要包含asset、package等的总目录
勾选如下：


Import加入工程，Approve确定，此时Unity中会自己读条导入Package

4.Player Setting设置

在File→Build Settings→Player Settings下，首先查看XR Plugin Management，如果还没有下载，就点“Install XR Plugin Management”
设置如下：

在player中，Resolution and Presentation设置如下，取消Run in Background的勾选，Orientation选择 Landscape Left

Other Setting中，设置Api Compatibility Level为.NET 4.x
设置Active Input Handing为Both

Publish Setting中，在Capabilities中勾选如下：
InternetClient
InternetClientServer
WebCam
Microphone
SpatialPerception
在Supported Device Families中勾选：
Holographic，以确保可以在Hololens中运行

为了运行顺利，可以在Quality中调整Levels为最低等级：

5.MRTK工程设置

将MRTK插入场景中，操作如图：

插入后，在Vuforia导入时已经建立的ARCamera会被移动到MixedRealityPlayspace下。（如果没有提前设置ARCamera，这里会是一个普通相机（MainCamera））
此后如果不进行修改，每次运行时，相机ClearFlags都会自动被改回天空盒，因此这里需要设置MRTK，选择MixedReality Toolkit，在Inspector中选择DefaultHoloLens2ConfigurationProfile，如图：

这时再运行相机，就能实时看到相机拍摄的画面了。

6.导入Vuforia图片识别、模型识别数据包

此处在Vuforia教程中较多，不多赘述，如果有不清楚的可以在评论或者私信提问。

7.测试

在Hierachy中右键建立Vuforia Image/Model Target，选择合适DataBase，添加识别后要显示的3D Object，先使用USB相机测试，当在USB相机下能成功识别后，再将项目build导出到hololens中。

8.Hololens打包

Unity中项目设置完成后，在Build Setting中点击Build选择合适文件夹导出即可。
在所建文件夹下，打开.sln文件。
在VS中设置为Release ARM64

Hololen与电脑的连接可以选择通过USB的有线连接和无线连接两种形式。
这里选择无线连接。在连接前需要保证Hololens和电脑处于同一局域网下，在Hololens网络中找到Hololens的ip地址。
在VS项目属性页中，将ip地址写入计算机名

第一次连接时候可能会要求输入hololens的pin码，在hololens系统设置中查看即可。也有可能会要求输入hololens用户名和密码，最好记得用户名和密码，如果忘了好像还挺麻烦的，可能要重装hololens系统什么的。
都设置好之后点击远程计算机部署，等它部署完成就能在hololense中运行查看啦！

说在最后

可能有很多不足没有顾及到的地方，仅仅是我在工程部署过程中遇到的一些问题和需要注意的重点。仍在不断努力中，共勉。