VR 中二维手势识别的最佳方法？

Posted 2023-03-30

【中文标题】VR 中二维手势识别的最佳方法？

【英文标题】：Best approach for 2D gesture recognition in VR?

【发布时间】：2016-06-21 11:55:40

【问题描述】：

我是一款游戏的开发人员，该游戏使用 HTC Vive 房间级 VR 耳机进行手势识别，我正在努力提高手势识别的准确性。

（游戏，上下文：http://store.steampowered.com//app/488760。这是一款通过在空中绘制符号来施法的游戏。）

目前我正在使用 1 美元算法进行 2D 手势识别，并使用与玩家水平旋转相关联的正交相机来展平玩家在空间中绘制的手势。

但是，我确信必须有更好的方法来解决这个问题！

我必须在指令中以 2D 表示手势，所以理想情况下我想：

找到使手势变平的最佳向量。 将其展平为二维空间。 使用最好的手势识别算法来识别它是什么手势。

在任何情况下都能达到接近 100% 的准确度真是太好了。例如，目前，当玩家在激烈的战斗中试图画一个圆圈时，游戏往往会感到困惑，并假设他们正在画一个 Z 形。

欢迎所有建议。提前致谢。

【参考方案1】：

在我看来，这个名为 Gesture Recognizer 3.0 的插件可以让您深入了解应该采取的步骤

Gesture Recognizer 3.0

另外，我在 github 中找到了这个 javascript 手势识别库

Jester

希望对你有帮助。

【参考方案2】：

信不信由你，但我在两个月前发现了这篇文章，并决定通过准备一个用于识别 VR 中的魔术手势的 Unity 包来测试我的 VR/AI 技能。现在，我带着完整的 VR 演示回来了：https://ravingbots.itch.io/vr-magic-gestures-ai

识别系统会跟踪手势矢量，然后将其投影到 2D 网格上。如果您希望系统处理 3D 形状，也可以非常轻松地设置 3D 网格，但不要忘记提供适当的训练集来捕获大量形状变化。

当然，该软件包是通用的，您也可以将它用于非魔法应用程序。代码有据可查。呈现为 PDF 的在线文档有 1000 多页：https://files.ravingbots.com/docs/vr-magic-gestures-ai/

该软件包已使用 HTC Vive 进行了测试。逐步增加对 Gear VR 和其他 VR 设备的支持。

【参考方案3】：

我个人推荐AirSig 它涵盖了更多功能，例如使用控制器进行身份验证。 Vive 版本和 Oculus 版本是免费的。 “在任何情况下都能达到接近 100% 的准确率真的很棒。”我的经验是它的内置手势准确率超过 90%，签名部分超过 96%。希望它符合您的要求。