微软Hololens设备 浅分析

Posted 2020-08-19 墨菲77

微软Hololens的定位是一款MR 设备（Mixed reality）。MR与AR的不同我认为是MR能够将真实环境的场景信息与虚拟对象进行完美的融合，它是基于SLAM（SimultaneousLocalization and Mapping）实时定位和场景建模的技术，使得设备能够识别周围环境，并且准确知道用户在场景中的位置，增强了用户使用的真实感。

Hololens本身设备是一台头戴式的计算机，其配备一个半透明/分辨率极高的See-Through屏幕，整个设备集成了所有的零件，具体的详细配置见下图：

 

在软件方面，微软一直在VR，MR的计算机图像识别，Kinect 形态预测，手势追踪和识别，图像渲染效果，更强大的计算能力等方面都在深入研究，这些核心算法或技术是提高设备的用户体验的关键。 在内容开发方面，微软希望构建一个生态系统，提供一个像Holographic这样的软件平台，通过把不同的算法和服务变成普通用户都能用的API，想开发MR应用的人就能用这些工具和服务来开发应用，最后可以做到HoloLens上去，也可以用到其他虚拟现实、增强现实设备上去。

在混合现实领域，还需要解决的问题：

 1：光影技术在图形学里叫“绘制技术”，实时的、光影真实的三维场景绘制技术一直是研究的热点。微软研究院第一次尝试用机器学习的方法处理这一问题，第一次把一些原来非常难做到的复杂光影效果做成实时。我们相信，随着这些技术的发展，会有更多的酷炫的光影效果，可以在VR和MR中呈献给大家。

2：怎么更方便地产生更真实的三维场景和交互内容。传统上我们需要艺术家去造型，但另一个方法是从真实世界中直接拍摄捕捉。比如，我想做一个咖啡馆，以前艺术家要用三维造型软件手工去做，包括所有细节，这是一种方法。还有一种方法，是拿一个深度相机或普通相机，把一个咖啡馆里所有的桌子和墙的几何形状、材质完全捕捉下来，把它放在三维场景里，真实感一下就提高了，所有桌面的材质都会很真实。有了这个技术，艺术家就不是无中生有了，他可以在这个场景的基础上把材质改改，比如让桌子生点锈，把它变得更有质感。因此内容捕捉技术是非常重要的技术路径。微软研究院在这个方向做了非常多的研究工作，我们的目标也是希望通过我们的推动，能让普通的用户享受这项技术，通过比如Kinect这样的深度相机，甚至像手机或者是普通相机拍摄的东西，把用户感兴趣的三维物体和几何形状表面的丰富材质、光影效果都捕捉下来，完美再现在虚拟的世界里。一旦这个问题解决了，所有普通用户都能产生高质量的三维内容，那虚拟世界、混合现实的世界就会变得丰富多彩，用户的体验也会提升一个数量级。

3：人工智能技术和识别技术 （以上三点摘自微软首席研究员童欣对话）

Hololens开发环境配置：

Visual Studio 2015 Update 1及以上版本；

Windows 10 SDK 10586及以上版本；

Unity HoloLens技术预览版【现在最新的Unity5.5版本已经支持Holographic，可以通过预览模式查看效果】。

以下内容将会提高你的开发体验：

• HolotoolKit【协助快速开发的开发组件，会不定时更新】
  https://github.com/Microsoft/HoloToolkit-Unity
• Windows Device Portal 【设备控制台辅助管理设备】
• 微软官方Hololens学院教程，https://developer.microsoft.com/EN-US/WINDOWS/HOLOGRAPHIC/ACADEMY

开发应用特性：

微软为开发者提供了硬件开发指南，其中提到，HoloLens应用或游戏与传统桌面上的应用、游戏有所不同，这是AR设备的自身属性造成的。用户在使用HoloLens时必定会移动头部，这就需要应用以非常高的速率刷新，以避免用户移动时带来虚拟视觉与现实世界的不同步感。

因此 微软建议开发者 在开发HoloLens应用或游戏时，应以每秒60帧数为目标，同时应用占用内存应小于900MB。如果应用能耗过大或导致过度发热，HoloLens也将自动关闭进程。