与计算机之间的另一种沟通方式 ——“手势识别”

Posted 无限追求

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了与计算机之间的另一种沟通方式 ——“手势识别”相关的知识,希望对你有一定的参考价值。

手势是无声的语言。人们在生活中借用手势,来表达各种各样的感情。现在,人还可以与计算机之间进行手势互动。

  与人之间的手势互动很容易理解,与计算机之间是怎么实现的呢?

技术分享

  手势分割

  想要使计算机识别人的手势,首先得将手势从背景中分割出来。因为计算机采集手势信息的同时,也会采集到手势所处的场景信息。

  手势分割通常采用以下几种方法:

  用黑色或白色的墙壁做背景,着深颜色服装,尽可能简化背景。要求人手戴上特殊的手套来强调手部也可,总之在环境上要突出显示手部。

  采集各种手势在各个时刻、不同位置、不同比例的手型图像,作为手势匹配的模板,建立一个庞大的数据库。

  使用边缘检测,将手与背景分离开来。

  手势模型训练

  计算机同人一样,在识别一个手势前,必须先告诉它这个手势是什么,代表什么意思。

技术分享

  这个过程就是手势建模。模型的选取取决于具体应用,如果要实现自然的人机交互,就必须建立一个精细有效的手势模型,使得识别系统能够对用户所做的绝大多数手势做出正确反应。

技术分享

  目前,手势建模方法可以归结为两大类:基于表观的手势建模和基于 3D 模型的手势建模。

  基于表观的手势建模是:根据手势的指头数以及指间的夹角不同,对手势进行分类,实现手势在旋转缩放条件下的快速识别。

技术分享

  基于 3D 模型的手势建模方法是:首先合成人体的 3D 模型,然后改变模型的参数,直到模型和真实人体映射出同样的视觉图像,然后分析身体姿态。

  基于表观特征的手势建模方式比较直观、适应性强、运算速度快。但实际应用中,需要考虑到光线及身体其他部位颜色的影响,这些因素都将直接影响手势区域的提取。

  基于 3D 模型的手势建模识别精度比较高,避免了基于表观特征识别时因遮挡造成的错误识别。虽然 3D 建模技术已经相当成熟,但模型还是太复杂,以至于不能快速地渲染响应。

技术分享

  因此大多数产品,如 Leap Motion 和 HoloLens 等,都采用了深度图像信息和手势表观特征相结合的方式。这种方式既可以达到基于表观的识别速度,又可以实现基于 3D 的识别精度。

  手势分析

  对手势进行建模后,接下来需要对手势进行分析。手势分析就是估计选定的手势模型参数,这一步一般由特征检测和参数估计组成。在特征检测过程中,必须先确定人手位置。根据所用的线索不同,可以把定位技术分为基于颜色定位、基于运动定位以及多模式定位三种。

  基于颜色定位技术的主要缺点是:在不同的光照条件下皮肤颜色变化较大,并且手和身体颜色相同,当身体其他部位出现在手势背景中,会导致识别错误。解决这一问题的简单方法,就是佩戴一副特殊的手套。

技术分享

  基于运动的定位技术通常跟某些假设一起使用。例如,假设通常情况下只有一个人在做手势,并且手势者相对于背景的运动量很小,也就是说图像中只有手部是运动的。

技术分享

  基于多模式定位技术,就是运动和颜色信息的融合定位人手。这种方式效果更加准确,但是计算量会增大。

  匹配

  分析完手势就等于把手势分好了类,接下来只需要将读取到的手势信息,与这些分析结果相匹配,匹配过程就叫手势识别。

  手势识别分为静态手势识别和动态手势识别。静态手势相当于我们检测视力时,对医生做的表明方向手势;动态手势相当于篮球场上裁判员做的一些列手势。

技术分享

  静态手势识别一般采用模板匹配方法来实现。通过一些相似准则,实时地比较手势与模板库中预定义手势的相似度,从而根据最大相似度来提取出手势模板。

  与静态手势不同,动态手势涉及时间及空间上下文。绝大多数动态手势被建模为手势模型空间里的一条轨迹。不同用户做手势时存在的速率差异、熟练程度等问题,会使运动轨迹与模型轨迹产生较大偏差。

  为了消除这一问题。现有的动态手势识别技术可以分为三类:基于隐马尔科夫模型(Hidden Markow Models,HMM)的识别,基于动态时间规整(Dynamic Time Warping,DTW)的识别,基于压缩时间轴的识别。

  HMM 算法因具有自动分割和分类能力,被广泛应用,以下例子能很好地说明这一算法的原理。

技术分享

  假设你有一个住得很远的朋友,他每天跟你打电话告诉你他那天做了什么。朋友仅仅对三种活动感兴趣:公园散步、购物以及清理房间。他选择做什么事情只凭天气。

  尽管你对于他所住地方的天气情况并不了解,但是你可以根据他今天所做的事情,来猜测天气情况。这整个系统就是一个隐马尔可夫模型 HMM。

  在这个系统里,你知道的这个地区的天气趋势以及朋友在做的事情,这些就是隐马尔可夫模型里的参数,它们是已知的。而手势可以描述为一系列由方向向量构成的系列,相近向量可以用一个符号来描述。如下图所示:

技术分享

  我们可以识别手指的位置,然后根据 HMM 模型去猜测轨迹,通过轨迹即可分析手势的意思。

以上是关于与计算机之间的另一种沟通方式 ——“手势识别”的主要内容,如果未能解决你的问题,请参考以下文章

基于STM32的手势识别检测

手势识别模型训练

在 Swift 中以编程方式启动手势识别器?

如何以编程方式触发 UIView 的点击手势识别器

禁用和启用页面视图控制器手势识别器?

以编程方式制作的按钮与 viewController 的手势识别器冲突