增强现实(AR)智能眼镜的关键技术：标定跟踪与交互

Posted 2023-02-27 雁回晴空

前言

增强现实AR智能眼镜是当前社会上比较主流的可穿戴AR设备，是除了手机和平板电脑之外最重要的增强现实支撑设备。前面的文章中，我们已经讨论过与光学透视型头戴显示器相关的标定技术，其实增强现实AR智能眼镜就是一种光学透视型的头戴显示器。本文会结合目前市面上的一些主流的AR眼镜设备，对其相关的标定、跟踪、交互技术做出讨论。

 

1 增强现实AR智能眼镜介绍

增强现实AR智能眼镜是一种光学透视型的头戴显示器。为什么一定要强调光学透视的特征呢？因为除了光学透视还有视频透视，而视频透视型的增强现实是将AR画面（包括真实元素与虚拟元素）统一渲染后呈现给用户，并非将虚拟元素与物理实景进行光学融合，从技术角度上看实现简单但是无法给用户带来最佳的虚实融合的体验。因此目前的主流设备舍弃了视频式AR，主要转向光学透视型AR。

据笔者了解，目前市面上流行的光学透视型的增强现实AR智能眼镜主要有以下2种类型，如果有遗漏，还请见谅。（1）一体式智能眼镜。这类眼镜的计算单元、电源、显示单元都集成在一起，技术难度高，价格昂贵。例如HoloLens 2。（2）分体式智能眼镜。这类眼镜通常将电源和计算单元独立为一个类似手机的处理单元，但是将显示单元做成眼镜，实现了智能眼镜的小型化和轻量化。但因为显示模块没有供电，智能通过有线方式连接到处理单元上，对用户体验造成些许影响。但不得不说这是一种比较合理的折中方式。分体式智能眼镜的典型产品是Magic Leap One、NED+ Glass X2、Nreal Light等。

以上两种眼镜都可以直接连接到PC上进行调试，因此这里不将基于PC的眼镜单独拿出来讲。

 

2 增强现实AR智能眼镜的关键技术

如果你要制作一款可用的AR智能眼镜，有几个技术是逃不掉的。鉴于市场上的AR硬件已经有很多，也算比较成熟，这里只对软件技术进行分析。AR眼镜中涉及到的技术包括：（1）标定技术，帮助用户看得准；（2）跟踪技术，帮助用户走得稳；（3）交互技术，实现信息多交换。下图中为以Google Glass为例，展示这三个技术之间的关联。

2.1 标定技术

相比于跟踪和交互技术，标定技术是一个很容易被忽视但却不可或缺的关键技术。鉴于光学透视型的AR眼镜的特殊原理，我们往往不能直接获得人眼在目标空间中的坐标位置，而需要对人眼和AR眼镜的跟踪系统进行标定，实现“物理环境”-“跟踪系统”-“人眼成像”这条通路，保证人眼能看到准确的虚实融合效果。有很多产品是直接将跟踪摄像头的位置等效为人眼的位置，这样做的结果是人眼看到的虚拟元素与物理实景之间是相互分立的、没有注册好的。直观的表现就是“头一运动，虚拟物体就在飘”。因此，这些产品通常无法为用户提供好的虚实融合体验。目前已知的产品中，HoloLens系列产品是做了这个标定的，因此提供的AR效果也是很好的，还有其他的一些产品由于没有佩戴过，因此先不做评论。

增强现实AR眼镜的标定技术，实际上就是标定人眼与跟踪系统之间的相对位置关系，以及人眼的内参数。这个话题在前面的文章中已经详细讲过，需要的朋友可以参考。

https://blog.csdn.net/zzlyw/article/details/53215105

 

2.2 跟踪技术

AR眼镜想要实现物理环境与虚拟元素的融合，必须要做到的就是能够跟踪虚拟环境。主流的视觉跟踪技术包括基于图像标记点的跟踪（Image-based Tracking）、基于物体的跟踪（Object-based Tracking）和同步定位与地图构建（SLAM）。在实践中中也会混合入惯性导航来提升跟踪质量。

（1）基于图像的跟踪技术，首先需要对被跟踪的图像进行预处理，得到该图像的特征点集合，然后实时状态下将视频流中的图像进行匹配。

（2）基于物体的跟踪技术，它与基于图像的跟踪技术类似，首先要把被跟踪的物体进行预处理，存储它的各类特征，然后在实时状态下对视频流中的图像进行分析，计算跟踪系统与被跟踪物体的相对位置。

（3）同步定位与地图构建技术，是不需要预处理的跟踪技术，可以在开始后同时完成定位与建图。这种方法虽然使用简单，但是没有办法像前两种方法那样轻松获取眼镜与物理环境中某一指定物体之间的相对位置。所以SLAM技术虽然发展比较成熟，但是如何与AR相结合还值得继续研究。如果对SLAM技术还没有了解的话，可以参考半闲居士的博客（https://www.cnblogs.com/gaoxiang12/）或者其他相关书籍。

 

2.3 交互技术

对于AR眼镜，比较方便的交互方式是语音、手势和遥控器。语音交互属于人工智能的一个重要研究领域，很多公司（如科大讯飞）已经做出了比较出色的语音交互产品，这对于AR眼镜的交互是具有重要意义的。手势交互因为不需要引入额外的交互设备，只需要用户做出手势就可以输入指令，也在一定程度上促进了AR眼镜交互技术的发展。遥控器作为传统的输入手段，虽然简单但是却能保证准确高效的输入，因此很多AR眼镜产品还是配了遥控器或者触控板作为交互设备。

 

3 增强现实AR智能眼镜的的发展前景

既然总说智能眼镜，那么“智能”体现在哪里呢？实现了AR算是智能了吗？当然，实现完善的AR功能是迈向“智能”的关键一步，但是仅仅从信息显示层面做提升还是有些欠缺。AR眼镜的智能还应该包括AR内容本身的智能性特征，这就要涉及到人工智能领域的研究了。因此笔者认为，增强现实AR智能眼镜的研究，绝不仅限于构建一套能够做出AR效果的眼镜，也不要局限于眼镜的穿戴舒适性，还应注意与人工智能领域的结合。

简而言之，AR已经不仅仅是AR，更是以AR为中心的多个研究领域的交汇点，并且还是一个寄托了人们美好生活愿景的研究热点。技术引领未来，希望AR智能眼镜可以像智能手机一样，为人们生活水平的提升带来强大助力。