与计算机之间的另一种沟通方式 ——“手势识别”

Posted 2020-09-02 无限追求

手势是无声的语言。人们在生活中借用手势，来表达各种各样的感情。现在，人还可以与计算机之间进行手势互动。

　　与人之间的手势互动很容易理解，与计算机之间是怎么实现的呢?

　　手势分割

　　想要使计算机识别人的手势，首先得将手势从背景中分割出来。因为计算机采集手势信息的同时，也会采集到手势所处的场景信息。

　　手势分割通常采用以下几种方法：

　　用黑色或白色的墙壁做背景，着深颜色服装，尽可能简化背景。要求人手戴上特殊的手套来强调手部也可，总之在环境上要突出显示手部。

　　采集各种手势在各个时刻、不同位置、不同比例的手型图像，作为手势匹配的模板，建立一个庞大的数据库。

　　使用边缘检测，将手与背景分离开来。

　　手势模型训练

　　计算机同人一样，在识别一个手势前，必须先告诉它这个手势是什么，代表什么意思。

　　这个过程就是手势建模。模型的选取取决于具体应用，如果要实现自然的人机交互，就必须建立一个精细有效的手势模型，使得识别系统能够对用户所做的绝大多数手势做出正确反应。

　　目前，手势建模方法可以归结为两大类：基于表观的手势建模和基于 3D 模型的手势建模。

　　基于表观的手势建模是：根据手势的指头数以及指间的夹角不同，对手势进行分类，实现手势在旋转缩放条件下的快速识别。

　　基于 3D 模型的手势建模方法是：首先合成人体的 3D 模型，然后改变模型的参数，直到模型和真实人体映射出同样的视觉图像，然后分析身体姿态。

　　基于表观特征的手势建模方式比较直观、适应性强、运算速度快。但实际应用中，需要考虑到光线及身体其他部位颜色的影响，这些因素都将直接影响手势区域的提取。

　　基于 3D 模型的手势建模识别精度比较高，避免了基于表观特征识别时因遮挡造成的错误识别。虽然 3D 建模技术已经相当成熟，但模型还是太复杂，以至于不能快速地渲染响应。

　　因此大多数产品，如 Leap Motion 和 HoloLens 等，都采用了深度图像信息和手势表观特征相结合的方式。这种方式既可以达到基于表观的识别速度，又可以实现基于 3D 的识别精度。

　　手势分析

　　对手势进行建模后，接下来需要对手势进行分析。手势分析就是估计选定的手势模型参数，这一步一般由特征检测和参数估计组成。在特征检测过程中，必须先确定人手位置。根据所用的线索不同，可以把定位技术分为基于颜色定位、基于运动定位以及多模式定位三种。

　　基于颜色定位技术的主要缺点是：在不同的光照条件下皮肤颜色变化较大，并且手和身体颜色相同，当身体其他部位出现在手势背景中，会导致识别错误。解决这一问题的简单方法，就是佩戴一副特殊的手套。

　　基于运动的定位技术通常跟某些假设一起使用。例如，假设通常情况下只有一个人在做手势，并且手势者相对于背景的运动量很小，也就是说图像中只有手部是运动的。

　　基于多模式定位技术，就是运动和颜色信息的融合定位人手。这种方式效果更加准确，但是计算量会增大。

　　匹配

　　分析完手势就等于把手势分好了类，接下来只需要将读取到的手势信息，与这些分析结果相匹配，匹配过程就叫手势识别。

　　手势识别分为静态手势识别和动态手势识别。静态手势相当于我们检测视力时，对医生做的表明方向手势;动态手势相当于篮球场上裁判员做的一些列手势。

　　静态手势识别一般采用模板匹配方法来实现。通过一些相似准则，实时地比较手势与模板库中预定义手势的相似度，从而根据最大相似度来提取出手势模板。

　　与静态手势不同，动态手势涉及时间及空间上下文。绝大多数动态手势被建模为手势模型空间里的一条轨迹。不同用户做手势时存在的速率差异、熟练程度等问题，会使运动轨迹与模型轨迹产生较大偏差。

　　为了消除这一问题。现有的动态手势识别技术可以分为三类：基于隐马尔科夫模型(Hidden Markow Models，HMM)的识别，基于动态时间规整(Dynamic Time Warping，DTW)的识别，基于压缩时间轴的识别。

　　HMM 算法因具有自动分割和分类能力，被广泛应用，以下例子能很好地说明这一算法的原理。

　　假设你有一个住得很远的朋友，他每天跟你打电话告诉你他那天做了什么。朋友仅仅对三种活动感兴趣：公园散步、购物以及清理房间。他选择做什么事情只凭天气。

　　尽管你对于他所住地方的天气情况并不了解，但是你可以根据他今天所做的事情，来猜测天气情况。这整个系统就是一个隐马尔可夫模型 HMM。

　　在这个系统里，你知道的这个地区的天气趋势以及朋友在做的事情，这些就是隐马尔可夫模型里的参数，它们是已知的。而手势可以描述为一系列由方向向量构成的系列，相近向量可以用一个符号来描述。如下图所示：

　　我们可以识别手指的位置，然后根据 HMM 模型去猜测轨迹，通过轨迹即可分析手势的意思。