深度学习|体积显示对增强现实中深度感知的影响

Posted 2021-04-20 闵大荒设计 MDH CENTER

闵大荒设计将持续发布人机交互设计、健康体验设计等设计前沿学术成果、实践探索和行业资讯。今天为大家分享的是来自AutomotiveUI '18的论文：Effect of Volumetric Displays on Depth Perception in Augmented Reality

快 速 阅 读 版

实验目的：

增强现实（AR）应用程序以前已被探索为提供驾驶员辅助服务的工具。以AR形式实现这些服务的主要优势是能够在驾驶场景中保持=相关的同时显示有关驾驶场景的信息。但是，这些优势必须与使用计算机生成的AR图形相关的感知问题一起进行评估。

实验设计：

参与者在两个显示条件下执行60个距离匹配任务。每种显示条件代表一种不同的显示技术：（1）使用多个焦平面的体积显示，以及（2）固定焦平面（即传统）AR显示。显示条件的显示在参与者之间交替显示，以减轻影响。

实验结果：

与传统的固定焦平面显示器相比，体积显示器为虚拟物体的距离感知提供了一种更准确的方法，并且随着自我中心距离的增加，这种提高的准确性变得更加普遍。

介绍

增强现实（AR）应用程序以前已被探索为提供驾驶员辅助服务的工具。这些显示不仅显示了与驾驶相关的传统信息，例如速度，档位和导航数据，而且还向诸如行人检测或转弯引导辅助等安全系统发展。与使用传统的平视显示器相比，以AR形式实现这些服务的主要优势是能够在驾驶场景中保持上下文相关的同时在上下文中显示有关驾驶场景的信息。但是，这些优势必须与使用计算机生成的AR图形相关的感知问题一起进行评估。

AR图形的优势通常受诸如收敛性不匹配和对深度感知的最终影响等因素的束缚。在驾驶场景中，深度感知非常重要，因为它对警告驾驶员潜在的碰撞或道路危险，同时让他们继续专注于前方的场景至关重要。可以使用AR显示器以视觉方式显示此类警报，但是如果驾驶员无法快速、准确地确定危险的距离，则可能使警报无效。

传统上，AR系统采用利用固定焦平面（即，用户可以容纳或聚焦在虚拟物体上的单个距离）的透明或视频透视显示器。通过模拟双眼聚焦提示可以改善这种设计，既可以更准确地感知虚拟物体，又可以减轻眼疲劳和模拟器疾病的症状。但是，这种设计也遇到了体积显示器可以解决的收敛适应性不匹配的问题。

体积显示与传统显示的不同之处在于，真正的三维空间中的交点称为体素。这种显示方式避免了使用特殊的硬件，如立体眼镜或用于跟踪距离和深度线索（如动眼器散度和运动视差）的头部跟踪系统的硬件。与使用固定焦平面的显示器相比，在可变焦平面中使用体素可以使用户的眼睛聚焦在不同的距离，并增加深度感知。

在这项研究中，我们评估了一个扫掠体显示，以了解其在模拟深度方面的性能。体积显示器的性能与传统固定焦平面显示器的性能形成对比，以便了解汽车设计中使用的显示技术的性能。此外，我们重点研究了在距离最远10米处有效的眼动融合提示。

相关工作

虚拟环境中的深度感知

在许多类型的显示技术中，收敛适应性失调是深度感知问题的主要因素。Vergence是眼动提示，观众的眼睛会聚在一个物体上以使其聚焦。这涉及到眼外肌，进而告知观看者的距离和深度感知。观看者还受益于调节的深度提示，由此睫状肌控制了眼透镜的弯曲和光学焦距。当这些肌肉群无法协同工作或无法以与真实世界视觉相同的深度对齐时，就会发生融合适应性失调。此外，深度感知是观看者识别和估计以自我为中心的距离的能力。参加者需要具有良好的深度感知才能在实验中有效，因为他们需要识别虚拟物体的以自我为中心的距离。而且，还有其他的深度暗示，例如咬合、双眼视差、运动视差和物体的相对大小，这些都会影响深度感知。尽管体积显示不能固有地显示遮挡（这需要在图形软件中支持），但它们能够支持其他重要的深度提示，例如调节和收敛。

在研究虚拟环境和显示技术中的固有问题方面，已经进行了大量工作。McIntire等回顾了评估3D显示技术的工作范围，该技术涵盖162个出版物和184个实验。他们发现，在60％的实验中，发现当前的3D显示技术比2D显示具有明显的优势，另有15％的优势很小。作者还发现，在35％的实验中，立体3D显示器在深度感知方面优于2D显示器。

体积显示

体积显示在不断开发以改善其定义和设计。某些更新会以用例为代价来提高其可移植性，例如Sand等人的 “雾屏”容积显示器，它使用水蒸气作为反射屏。在改善显示器成像和色彩能力方面也正在取得进展。在平山等人的设计中使用“量子点”之类的改进可以使显示更加紧凑。

目前的研究很少对体积显示器进行评估，以更好地了解其深度感知性能。Bark进行了评估扫掠体积显示的实验。在他们的实验中，他们让参与者识别出虚拟纸飞机在哪个标志上盘旋，并且他们发现参与者使用体积显示识别出正确目标的时间为93-97％，而传统2D显示为32-33％

汽车平视显示器

随着AR在车辆环境中变得越来越流行，感知问题如何影响驾驶员的性能将变得越来越重要。史密斯等评估了平视显示器（HUD）与传统显示器相比如何影响驾驶员的眼睛扫描模式和性能。作者发现，相比于头戴显示器，HUD可以提高视觉任务性能，即使参与者对HUD的视线更长，也不会影响驾驶性能。

随着HUD设计的不断改进，正在设计许多驾驶辅助工具，以使用HUD向驾驶员显示上下文相关的信息。Kim研究了HUD如何改善通过听觉警告检测行人的性能，以及形式图形是否有益于单视场和容积显示。在这两种情况下，保形图形都改善了深度感知和驱动程序性能。

驾驶员需要识别危险，因此他们必须能够准确识别危险程度。目前已经进行了一些实验来测量对HUD的深度感知。这些实验的结果表明，就深度感知而言，显示技术的改进可以提高危险检测的性能。

方法

实验设计

为了有效地测量距离感知，要求参与者在两个显示条件下执行60个距离匹配任务。每种显示条件代表一种不同的显示技术：（1）使用多个焦平面的体积显示，以及（2）固定焦平面（即传统）AR显示。显示条件的显示在参与者之间交替显示，以减轻影响。

对于每个任务，参与者将在显示屏上看到一个虚拟矩形。然后，参与者将使用键盘上的向上和向下箭头键向前和向后移动虚拟矩形，目的是使其距离与真实世界中相同颜色的矩形参照符号相匹配。

现实世界的标志放置在三个不同的中场距离：绿色距离7米；黄色距离9.5米；红色距离12米。这使实验能够测试这些深度提示的距离极限以及稍微超出它们的距离极限，以查看其他因素是否有助于距离感知。

虚拟矩形的大小在高度和宽度上都随机地从0.2m更改为0.5m，以使虚拟对象的大小与真实世界的矩形标志无关。此外，这些矩形最初是随机放置在距离现实世界目标近1米或3米之间的位置。这种变化使得五个矩形比每个目标标志更靠近参与者，五个矩形距离参与者更远。这两种策略都使我们能够最大程度地减小视野深度提示中相对大小和高度的影响，并有效地将提示约束为动眼的散度，适应性和双眼视差。每种显示技术总共可以完成30项任务。

参与者对虚拟物体相对于目标标志的距离感到满意后，他们将使用键盘的空格键来完成任务。会自动显示下一个任务的矩形，依此类推，直到完成一组试验。要求参与者在速度上重视准确性，以确保估计尽可能接近。最后，直到完成所有问卷调查后，参与者才被告知哪些试验正在利用哪种显示技术。

在我们的实验中，我们限制了眼动的发散，适应和双眼视差以外的深度提示。我们指示参与者不要左右移动头部，以免影响视差。另外，由于我们没有为虚拟矩形提供阴影和立体感。限制这些线索可以使我们将实验重点放在我们要观察的线索上。

这项研究是采用独立变量的2x3重复测量设计：显示技术（固定焦平面和体积）和参考距离（7m，9m和12m）。相关措施包括距离估计（m）和任务完成时间（ms）。

图1：活动体积显示的视图，其中虚拟矩形覆盖在物理符号矩形上

硬件&软件

参与者坐在模拟车辆仪表板的前面，仪表板封装了基于投影的扫掠体积显示（图1）。外部便携式计算机传输投影在透视显示屏上的体素信息（红色，蓝色，绿色和深度值）。虚拟对象的外观和操作是在自定义C ++ / Qt5软件中定义的。与投影机的通信由libusb C库的自定义版本管理。显示器的方向应使距离匹配任务中使用的三个现实标志在显示器的视野内，但不与虚拟对象相交。显示器允许以很大的距离投影图形，但是由于空间有限，我们以大约13米的深度显示图形。显示器的体积要远离可能阻塞的物体，其最大深度由悬挂在远端墙壁上的黑色平板物理指示。

AR显示器还能够使用固定焦平面渲染图形，从而模仿了传统的透视显示器。在执行固定焦平面试验时，我们将显示设置为使用7米的焦深。尽管此距离比某些当前可用的HUD略远，但它是体积显示器上可用的最近焦平面。

体积显示由本田研究公司提供。该显示器是基于投影的扫掠式体积显示器，具有切换的图像平面，允许焦距在7m和光学无限远之间。显示器还允许虚拟物体在17度圆形视场内无闪烁外观。此外，它提供了传统固定平面HUD显示器中可用的透视深度提示，以及双目视差，运动视差以及眼动融合和适应性。我们还通过软件和硬件参数手动校准了显示屏，以确保其正常工作。

图2：我们的实验中使用的体积AR显示。参与者可以通过方向盘上方的玻璃窗格查看虚拟场景。

被试

为了确保安全，必须以多种方式限制参与者。具体来说，对参加者进行筛查以排除癫痫，癫痫或偏头痛病史为排除标准，其中视觉显示可能会导致已知的不良反应。关于确保收集相关数据，要求参与者具有双眼工作视力和完善或矫正的视力。

从参与者收集了相关的人口统计数据。有11位参与者的年龄在20至33岁之间，平均年龄为22.8。参与者中有9名是男性，2名是女性。首先对5个进行了体积显示试验，而对6个进行了固定焦平面试验。六名参与者戴上眼镜或矫正视力的隐形眼镜。

结果

在确认正常假设后，我们进行了两次重复测量方差分析，以评估任务完成时间（ms）是否在不同的显示类型和参考距离之间有所不同。结果显示参考距离（F（2，18）= 23.518，p <0.001）的显着影响以及显示类型与参考距离之间的相互作用（F（2，18）= 10.71，p <0.001）。事后比较，使用Tukey的调整进行多次比较，发现在12m处所指对象的显示类型之间，任务完成时间存在显着差异（p <0.01），如图4所示。结果还显示，在该位置处，距离估计值存在显着差异。12m参考距离（F（2，18）= 10.69，p <.01）这两种显示条件在7米和9.5米处具有相似的性能。

我们让参与者填写了SSQ，专门研究AR显示器常见的眼睛疲劳。为了解决这个问题，我们通过SSQ分析了数据集中度。六名参与者报告完全没有增加疾病指标。无论是眼睛疲劳还是聚焦困难，考虑到实验要求他们集中注意力并在虚拟对象和真实对象之间进行调整，这是有道理的。我们调查了那些确实报告眼疲劳的人与他们首先完成了哪项试验（固定焦点或容积法）之间是否存在任何关系。但是，它们在两者之间平均分配，其中两个在固定焦平面显示后报告眼疲劳，而第二是在体积显示后报告眼疲劳。

图3：估计距离与参考目标距离的比较，置信区间为95％

图4：任务完成时间与参考目标距离的比较，置信区间为95％

结论及未来工作方向

我们的结果支持以下假设：与传统的固定焦平面显示器相比，体积显示器为虚拟物体的距离感知提供了一种更准确的方法，并且随着自我中心距离的增加，这种提高的准确性变得更加普遍。但是，我们的期望是，这种改进将归因于动眼运动的精确度和适应性提示，而在十多米的范围内影响很小。我们的观察结果表明，由于可用深度提示在固定焦点平面上的锚定，距离固定焦点平面的焦距越远，距离感知将受到负面影响，而体积显示可能会导致更精确的距离感知大范围的距离。

在可能引起混淆的变量（例如视觉干扰器）方面，我们将使用更大、更整洁的空间（例如空的停车场）进行类似的实验。在宽阔的开放空间中进行研究具有增加外部有效性的附加效果，因为该技术旨在在室外使用。但是，这种设置还可能在天气模式和照明方面引入新的混淆变量。

本文对原文进行了整理，更多详细内容请点击阅读原文