元宇宙里的手势交互手势交互定义和相关产品介绍

Posted 2022-01-02 朱铭德

前言        

        很久没有动笔写博客了，趁着元宇宙的概念还火热着，聊一聊面向ARVR眼镜的手势交互。还在读研的时候就做过一些手势相关的课题，也热衷于玩一些和手势交互相关的硬件。刚工作的前几年主要在做一款AR投影仪（影见），做了些3D物体姿态估计和图像识别的工作，从传统机器学习、深度学习到部署到终端的链路都有了一些经验和积累。

        最近几年主要负责手势交互相关的算法，面向的是国内各家AR眼镜，最终目标是集成到AR眼镜的系统层，替代手柄完成绝大部分交互需求。目前阶段性的一个成果是和Nreal（国内一款优秀的AR眼镜）合作，将我们的手势能力集成到了Nreal的官方SDK，并迭代了一个版本。虽然距离真正意义上的自然交互还有挺长的路，但在国内范围肯定是能打的，有兴趣可以去体验下Nreal SDK1.7.0版的手势功能（链接），非常期待反馈意见和建议。

联系我： [e-mail]

正文

        说起手势交互，相信行业内的小伙伴第一反应是HoloLens 2。不得不说微软真的是YYDS，手势交互无论从交互精度、算法效率、算法功耗还是从交互直观体验等等各个方面来看，都很难找到能打的。本文会简单介绍HoloLens的交互设计，在本系列的后续文章中会根据近几年微软的论文详细阐述HoloLens手势的算法原理（先打个预告给自己点动力码字）。

        除了HoloLens外，另外一家必须要拧出来讲的就是Meta（原Facebook）的Quest 2，手势交互也做得非常好，可与微软比肩，本文中的很多精美Gif都是出自于Quest旧版的交互设计指南。除了这两家顶流外，也会介绍下Ultraleap的一些交互设计。

        文章的最后会以Nreal为例分析手势交互设计以及分享一些Demo效果。

手势交互需要解决的问题

        首先需要抛出的问题是——手势交互在ARVR里要解决哪些问题？

        这里参考了Quest的交互设计指南，可能随着MR技术的发展会有一些更精细的问题抛出来，但是手势交互至少需要解决以下几个问题：

• 如何选中一个虚拟物体
• 如何控制和移动一个物体
• 如何旋转一个物体
• 如何缩放一个3D物体
• 系统功能（Home键，类比于windows键)

Microsoft HoloLens 2

        手势基于深度摄像头（Auzre Kinect）实现，采用优化的方法完成手势的姿态估计(详细原理后续文章会进行分析)，运行效率极高(运行在DSP上，算力只有4GFLOPS[1]，相当于iphone7的百分之一)。允许一定程度的双手交互，是目前已知眼镜中双手交互的天花板，也是最近很多年唯一一家以手势作为主要交互方式的MR眼镜。下面介绍几种主要的交过模式：

官方介绍文档：链接，本能交互介绍（这个页面里有个介绍视频推荐看下）

选中/点击操作

• 每伸出的指头都是一个3D碰撞体，配合视觉反馈完成点击操作

• 【近距离】本能手势，针对不同尺寸的物体支持捏/抓等三种程度手势

• 【远距离】从手掌发射射线，构成“光标”，pinch动作选中，松开释放

移动

• pinch操作选中，随着手势移动（图中的UI本质上还是一个3D面片，其他3D物体类似）

 旋转和缩放

•  【基于按钮的单手旋转和缩放】本质上将旋转和缩放做成了调节按钮，近距离捏合，远距离射线选中均可

•  【单手旋转】利用手掌的旋转信息控制物体旋转

• 【双手旋转和缩放】双手两个捏合的3D点，控制物体缩放和旋转

 系统手势

• 一代“开花”手势映射到系统功能上（现在主流不这么做了）
• 二代在手腕上加了一个按钮，可以用另外一个手点击或者看向win键捏合手指

Meta Quest 2

        Quest2，VR领域内的扛把子，我自己也没忍住买了一个（真香），裂墙推荐看下他们官方的介绍：链接。Quest基于四个灰度摄像头完成手势交互的识别[2]，算法运行效率超过60FPS（目前的beta版本已经可以体验），是一套基于深度学习的方案。

        先感受一个精美的GIF：

        Quest官网有一张图很直观介绍了ARVR场景里手势交互的切换，可预见的主流的MR眼镜都会按这套来设计手势交互。更具体的一些交互介绍可以接着往后看

选中/点击操作

• 近距离和远距离，和hololense很像
• 远距离本质上也是射线的模型，显示层面有一些修改（挺有设计感的）

 移动

• pinch选中物体后配合手的运动和松开即可完成物体的移动

 旋转

• 【全自由度单手旋转】利用手掌旋转控制物体运动（抓着物体一起转）
• 【限定自由度单手旋转】按钮+拖拽映射到物体的单个自由度

 缩放

• 和HoloLens一样，很直观，双手的两个3D点控制3D物体的旋转和缩放
• 单手+按钮的形式实现物体的缩放

 系统手势

• 手掌面对用户，当指尖变蓝的时候捏合，唤起系统功能

Ultraleap 

        用一句话介绍一下——收购了LeapMotion。

        主要的交互设计看上面两家就够了，这家的官方文档也值得一看。下面两张图可以直观感受下AR眼镜的手势交互范围（左边是leapmotion，右边是ultraleap改建的双目红外版）。后面会有一些从网上搜集的Demo片段，可以直观感受下各种交互。

 选中+移动

 碰撞+Button

 全自由度旋转

 远距离选中+移动

这很leapmotion 

我们的手势算法效果（已接入到Nreal SDK）

        目前我们的手势已经接入国内多家AR眼镜，也有望接入更多的MR眼镜和其他的硬件平台，有兴趣的话可以聊一聊。        

        我们的手势基于双目灰度进行实现，可以检测手势21关键点3D位置、旋转信息和常用的手势类别信息，驱动模型手、mesh手直观上效果也不错。目前手势兼容绝大部分安卓平台，算法运行在高通DSP上，其他手机平台会自动切换到GPU。以高通888为例，双手DSP耗时整个链路只需要10ms。这个视频是目前在研的mesh手，可以看到，还是很稳定和自然的。

mesh手快出师了

        基于我们的手势算法+Nreal SDK在youtube上已经有了不少Demo，可以看到基本可以完成绝大部分交互操作了。

基于双目灰度3D手势SDK各种手势Demo

        另外我们在移动端也有不少积累，单目3D手很早就挺稳了，更多的一些效果视频可以关注：链接。

        非常欢迎留言和讨论。

Reference

[1]The Phong Surface: Efficient 3D Model Fitting using Lifted Optimization. ECCV2020

[2]MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality.

[3]本能交互 - Mixed Reality | Microsoft Docs

[4]https://developer.oculus.com/resources/hands-design-intro/

[5]Welcome to Ultraleap Developer Resources - Ultraleap documentation