基于长短时记忆和深度神经网络的视觉手势识别技术

Posted 2021-04-26 图学学报

基于长短时记忆和深度神经网络的 视觉手势识别技术

何 坚 1,2， 廖俊杰 2， 张 丞 2， 魏 鑫 2， 白佳豪 2， 王伟东 1,2

(1. 北京市物联网软件与系统工程技术研究中心，北京 100124； 

2. 北京工业大学信息学部，北京 100124)

DOI：10.11996/JG.j.2095-302X.2020030372

内 容 简 介

针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题，在分 析人体手势空间上下文特征的基础上，首先建立一种基于人体骨架和部件轮廓特征的动态手势 模型，并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体手势骨架和部件轮 廓特征提取。其次，引入长短时记忆网络提取动态人体手势中骨架、左右手和头部轮廓的时序 特征，进而分类识别手势。在此基础上，设计了一种空间上下文与时序特征融合的动态手势识 别机(GRSCTFF)，并通过交警指挥手势视频样本库对其进行网络训练和实验分析。实验证明， 该系统 可以快速准确识别动态交警指挥手势，准确率达到 94.12%，并对光线、背景和手势形 状变化具有较强的抗干扰能力。