MixedRealityToolkit-Unity:MR应用必用神器

Posted 大智_洪流学堂

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MixedRealityToolkit-Unity:MR应用必用神器相关的知识,希望对你有一定的参考价值。

洪流学堂,让你快人几步。你好,我是你的技术探路者郑洪智,你可以叫我大智。
本篇文章首发于我的公众号:洪流学堂

MRTK-Unity是一个由Microsoft驱动的开源项目,提供了多种组件和功能,用于加速Unity中的跨平台MR应用程序开发。以下是其一些功能:

  • 提供跨平台输入系统和用于空间交互和UI组件
  • 启用快速原型通过在编辑器中的模拟,让你马上看到变化。
  • 作为可扩展框架运行,为开发人员提供了交换核心组件的能力。
  • 支持多种平台,包括
  • HoloLens
  • HoloLens 2
  • Windows Mixed Reality头盔
  • OpenVR头盔(HTC Vive / Oculus Rift)
  • Ultraleap手部跟踪
  • iosandroid等移动设备

MRTK入门

如果您不熟悉Unity中的MRTK或Mixed Reality开发,建议从 Microsoft Docs的Unity开发旅程文档开始。Unity开发之旅是专门为使新开发人员了解MRTK的安装,核心概念和使用而量身定制的。

重要信息:Unity开发过程当前使用MRTK版本2.4.0Unity 2019.4

所需软件

Windows SDK 18362+ Unity 2018.4.xVisual Studio 2019 仿真器(可选)
要使用MRTK v2生成应用程序,您需要Windows 10 May 2019 Update SDK。 要运行沉浸式耳机的应用程序,您需要Windows 10 Fall Creators Update。Unity 3D引擎为在Windows 10中构建混合现实项目提供支持Visual Studio用于代码编辑,部署和构建UWP应用程序包模拟器可让您在模拟环境中在没有设备的情况下测试您的应用

功能

输入系统手部追踪(HoloLens 2) 眼动追踪(HoloLens 2) 设置 手部追踪(Ultraleap)
UI控件 解算器 多场景管理 空间感知 诊断工具
MRTK标准着色器 语音合成与识别 边界系统 编辑器内模拟 实验功能

UX组件

按钮 边界控制 对象操纵器
一个按钮控件,支持各种输入方法,包括HoloLens 2的带关节的手用于处理3D空间中对象的标准UI用一只手或两只手操纵对象的脚本
Slate 系统键盘 可交互物体
2D样式平面,支持通过手动输入进行滚动在Unity中使用系统键盘的示例脚本使对象与视觉状态和主题支持可交互的脚本
解算器 对象集合 工具提示
各种对象定位行为,例如标签沿,身体锁定,恒定的视图大小和表面磁性用于以三维形状布置对象阵列的脚本具有灵活锚定/轴系统的注释UI,可用于标记运动控制器和对象
滑杆 MRTK标准着色器 手菜单
滑块UI,用于调整值,支持直接的手部跟踪交互MRTK的标准着色器支持各种Fluent设计元素,并具有出色的性能手动锁定用户界面,使用“手动约束求解器”可快速访问
应用栏 指针 指尖可视化
用于Bounds Control手动激活的UI了解各种类型的指针指尖上的视觉承受能力提高了直接交互的信心
近场菜单 空间感知 语音命令/听写
浮动菜单用户界面,用于近距离交互使您的全息对象与物理环境互动集成语音输入的脚本和示例
进度指标 对话框[实验] 手势教练[实验性]
可视指示器,用于传达数据过程或操作要求用户确认或确认的UI在未教手势时帮助引导用户的组件
手部物理[实验性] 滚动收藏 Dock[实验性]
手部物理服务可实现刚体碰撞事件以及与关节手的相互作用原生滚动3D对象的对象集合Dock允许将对象移入和移出预定位置
眼动追踪:目标选择 眼动追踪:导航 眼动追踪:热图
结合眼睛,声音和手部输入,快速轻松地选择整个场景中的全息图了解如何根据您的查看内容自动滚动文本或流畅地放大重点内容记录,加载和可视化用户在您的应用程序中查看内容的示例

工具类

优化窗口 依赖窗口 构建窗口 输入录音
自动配置混合现实项目以优化性能分析资产之间的依存关系并识别未使用的资产为混合现实应用程序配置并执行端到端构建过程在编辑器中记录和回放头部运动和手部跟踪数据

场景示例

在此示例场景中,探索MRTK的各种类型的交互和UI控件。

可以在Assets / MixedRealityToolkit.Examples / Demos文件夹下找到其他示例场景。

MRTK示例中心

使用MRTK示例中心,可以尝试MRTK中的各种示例场景。可以在Release Assets文件夹下找到HoloLens(x86),HoloLens 2(ARM)和Windows Mixed Reality沉浸式耳机(x64)的预构建应用程序包。使用Windows设备门户在HoloLens上安装应用程序。在HoloLens 2上,可以通过Microsoft Store应用程序下载并安装MRTK示例中心。

请参阅示例中心自述页面,以了解有关使用MRTK的场景系统和场景转换服务创建多场景中心的详细信息。

使用MRTK制作的示例应用

元素周期表是一个开源示例应用程序,演示了如何使用MRTK的输入系统和构建块为HoloLens和沉浸式耳机创建应用程序体验。阅读移植故事:通过MRTK v2将Elements的元素周期表引入HoloLens 2Galaxy Explorer是一个开源示例应用程序,最初作为HoloLens“分享您的想法”活动的一部分于2016年3月开发。已使用MRTK v2更新了Galaxy Explorer的HoloLens 2新功能。阅读故事:HoloLens 2的Galaxy Explorer的制作Surfaces是适用于HoloLens 2的开源示例应用程序,它探索了我们如何通过视觉,音频和完全铰接的手部跟踪来创造触感。在Surfaces应用程序中查看Microsoft MR Dev Days会话学习,了解详细的设计和开发故事。

源码链接
https://github.com/microsoft/MixedRealityToolkit-Unity

如果以上链接无法下载或者下载太慢,可以在洪流学堂公众号回复MRTK获取网盘链接。

扩展阅读


我是大智(vx:zhz11235),你的技术探路者,下次见!

别走!点赞收藏哦!

好,你可以走了。

以上是关于MixedRealityToolkit-Unity:MR应用必用神器的主要内容,如果未能解决你的问题,请参考以下文章