手势识别基于matlab PCA+LDA手语检测识别含Matlab源码 1551期

Posted 2021-12-24 紫极神光

一、手势识别简介

手势识别可以分为基于可穿戴设备的识别、基于触摸技术的识别和基于计算机视觉的识别。其中，基于计算机视觉的识别，手势图像信息由一个或多个摄像头采集，采集的数据进行预处理，包括去噪和信息增强。然后，利用分割算法获取图像中的目标手势。通过视频处理和分析得到当前手势的分类和描述，最后通过手势识别算法对目标手势进行识别。基于手势的手势识别主要由手势分割、手势分析和手势识别三部分组成。

1 手势分割
第一步是对输入图像执行手势分段。手势分割过程主要包括手势定位和手势分割两部分。
（1）手势定位
手势定位过程在包含手势的图像帧序列中从复杂背景中提取手势区域，实现手势与背景的分离。手势定位后，通过算法将当前手势从背景区域分割出来。静态手势只需要提取单个帧图像的手势特征，而动态手势则需要对提取的帧序列进行手势分析。常用的手势分割方法有基于运动信息的检测分割、基于视觉特征的检测分割和基于多模式融合的检测分割。基于运动信息的检测分割主要包括光流法和差分法。光流法不需要预先获取图像背景来表示复杂环境下的手势运动，但要求背景图像保持静止，对光照要求较高。
使用光流方法实时跟踪手势。在静态背景下，差分法对手势的分割效果较好。对于一个移动的背景，需要对背景进行建模和区分。
使用Running Average方法对背景进行建模，然后进行手势分割

（2）手势分割
基于明显特征的分割方法主要包括肤色分割、纹理分割、手形分割和轮廓分割。
（a）肤色分割
肤色分割方法是最常用的方法：
使用集群的肤色在颜色空间建立肤色模型,如肤色建模通过RGB颜色空间：
翁等人使用贝叶斯手势分割,建立肤色模型,然后结合皮肤的颜色,运动,和手势识别的轮廓形状信息,大大提高了分割精度。
这些分割方法不受手形的影响，但由于光照引起的肤色变化，分割错误率大大提高。
（b）基于多模式融合的分割方法主要是为了克服复杂环境对分割条件的影响，并结合各种特征，如表观特征和运动信息。当使用单色可穿戴设备或背景来简化场景分割时，为了提高分割的准确性，有时会用手进行标记，这极大地影响了交互的自然度，从而限制了应用范围。其次，对手势进行建模和分析。
主要包括基于外观的手势建模和基于三维模型的手势建模基于外观的手势建模可以分为二维静态模型和运动模型。常用的策略有颜色特征、轮廓几何、可变形和移动图像参数。颜色特征是最常用的建模方法。
用单台相机捕捉手部运动图像，用颜色、运动、边缘等多种信息建模，建立手部运动的坐标系来识别手势[71]。利用圆周、质心、边界盒等几何特征建立轮廓几何模型。
使用旋转归一化方法对手势区域的图像进行对齐，并使用KravtCouk矩作为轮廓特征训练模型来识别静态手势。通过一组能够描述全局运动的物体轮廓插值节点，建立了基于gabarit的可变形模型。
最简单的插值方法是分段线性函数。
Ju等人利用snake算法分析了课堂上的视频浏览和索引手势。
基于运动图像参数的模型与其他模型的不同之处在于，它们是由视频序列中对象的平移、旋转和方向等运动参数建模的。
提出在真实场景中使用一个新的描述符和一个局部运动直方图来描述运动模式，然后通过增强方法选择特征。该方法仅利用局部特征建立了明显的手势建模，计算复杂度较低。利用基于三维的手势模型建立当前图像的三维模型，并根据相关参数计算手势状态。常用的手势模型包括三维骨架模型、三维纹理体模型和三维几何模型。
骨架模型是最常用的三维模型。
使用Kinect生成的深度数据进行骨建模。

2 手势分析
手势分析由特征检测和参数估计两部分组成。
特征检测用于从分割后的手势中提取图像特征参数。图像特征主要包括视觉特征和语义特征。视觉特征包括颜色、纹理和轮廓，语义特征代表对图像内容的理解。
参数估计根据模型的不同使用不同的方法。
先用方向梯度直方图(HOG)描述运动员的面积，然后用主成分分析(PCA)将HOG投影到线性子空间中，得到PCA-HOG描述特征。曲棍球和足球的实验表明，该方法在光照、姿态和视角的变化下，对跟踪和识别结果具有较强的鲁棒性。

3 手势识别
手势识别主要是基于传统的机器学习方法和神经网络。使用传统的机器学习模型识别基于视觉的手势有很多方法。
静态手势识别采用模板识别，动态手势识别采用与时域信息相关的HMM。
所选择的识别方法与手势的类型有很大的相关性。
戴着有色手套，用一对普通的网络摄像头捕捉用户的手势数据，训练HMM模型对用户预定义的八个手势进行实时跟踪和识别。
近年来，随着深度学习的发展，该技术已广泛应用于手势识别领域。
同时采集彩色图像和深度图像，提取手势的骨骼特征和梯度直方图特征。然后将提取的特征融合起来，建立快速rnn，将连续的手势分割成孤立的手势。通过一个简单的递归神经网络(SRNN)。通过简单递归神经网络(SRNN)和长短时记忆(LSTM)，建立了用于连续手势识别的双流递归神经网络2S-RNN。
Tsironi等结合卷积神经网络(CNN)对视觉特征的敏感性和LSTM对连续事件的有效性，提出了卷积长短时记忆递归神经网络(CNNLSTM)。

二、部分源代码

clc;
clear all;
close all;

%% Add training and test directories to path
addpath('./Training/A');
addpath('./Training/B');
addpath('./Training/C');
addpath('./Training/Five');
addpath('./Training/Point');
addpath('./Training/V');
addpath('./Testing/A');
addpath('./Testing/B');
addpath('./Testing/C');
addpath('./Testing/Five');
addpath('./Testing/Point');
addpath('./Testing/V');

img1 = 'Five-train1.jpg';
% img1 = 'V-train1.jpg';
img1 = imread(img1);
nRows = 76;%No of rows for the images
nColumns = 66;%No of columns for the images
threshold = -2;

BWImg = rgb2gray(img1);%Convert to BW for processing
BWImg = imresize(BWImg,[nRows nColumns]);%This done because Five is diff size

% BWImg = BWImg - mean(mean(BWImg));
% BWImg = histeq(BWImg);

% Display Original Image
subplot(2,2,1)
imshow(img1);    

im = double(imadjust(img1, [0 0.8], [0 1])); % a b c d: between 0 and 1
% To decrease contrast: increase a
% To increase contrast: decrease b
% To increase brightness: increase c
% To decrease brightness: decrease d
        
skinprob = computeSkinProbability(im);% Extract probable skin regions

ThresImage = skinprob>threshold;%Compute Thresholded regions

subplot(2,2,2);
imshow((skinprob>threshold)*64);
colormap('gray');    

Mask = ones(2,2);
ThresImage = imerode(ThresImage,Mask);%Remove isolated pixels
Mask = ones(5,5);
ThresImage = imdilate(ThresImage,Mask);%Get borders of skin regions        

subplot(2,2,3);
imshow(ThresImage);
colormap('gray');    

ThresImage = imresize(ThresImage,[nRows nColumns]);%This done because Five is diff size
FinalImg = double(BWImg) .* ThresImage;%Get only skin pixels
[row,col,~] = find(FinalImg);
FinalImg = imresize(FinalImg(min(row):max(row),min(col):max(col)),[nRows nColumns]);

subplot(2,2,4);
imshow(FinalImg);                
    
%Resize skin region to entire image
NormImage = reshape(FinalImg,nRows*nColumns,1);%Reshape to column vector
function [u omega] = PCATraining(ImgMat,nRows,nColumns,ShowOutput,nEigValThres)
%% Carry out PCA to extract features
% Find Covariance matrix in terms of vectors
L = ImgMat'*(ImgMat);%Covariance Matrix

[vv dd]=eig(L);%vv is eigen vectors, dd = eigen values
% Sort and eliminate those whose eigenvalue is less than threshold
v = zeros(size(vv));
d = zeros(1,size(dd,1));
NoOfFeatures = 0;
for i=1:size(vv,2)
    if(dd(i,i)>nEigValThres)
        v(:,i) = vv(:,i);%Store only vectors above threshold
        d(i) = dd(i,i);%%Store only Eigne values above threshold
        NoOfFeatures = NoOfFeatures + 1;%Count no of vectors saved
    end
end

%% Sort the Eigen Vectors from ascending to descending sequence 
v = fliplr(v);

%% Normalize Eigen vectors to unit magnitude
for i=1:NoOfFeatures %access each column
    kk = v(:,i);
    temp = sqrt(sum(kk.^2));%Calculate Magnitude
    v(:,i)=v(:,i)./temp;%Normalize each vector
end

%% Find Eigenvectors of actual Covariance matrix = ImgMat*ImgMat' 
% This is for using v2 = X * v1
u = ImgMat * v;

%% Normalize the Eigen vectors
for i=1:NoOfFeatures    
    kk=u(:,i);
    temp=sqrt(sum(kk.^2));%Find magnitude
    u(:,i)=u(:,i)./temp;%Normalize Eigen vectors
end

%% Show the PCA extracted features
if(ShowOutput == 1)
    for i=1:NoOfFeatures    
        % Display Extracted features
        f = figure();
        set(f,'name','Extracted Eigen features')                               
        Img = reshape(u(:,i),nRows,nColumns);%Reshape each vector to image        
        imagesc(Img);  
        axis equal;
        colormap('gray');
        set(gca, 'fontsize', 28);            
    end
end

三、运行结果

四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1] 蔡利梅.MATLAB图像处理——理论、算法与实例分析[M].清华大学出版社，2020.
[2]杨丹,赵海滨,龙哲.MATLAB图像处理实例详解[M].清华大学出版社，2013.
[3]周品.MATLAB图像处理与图形用户界面设计[M].清华大学出版社，2013.
[4]刘成龙.精通MATLAB图像处理[M].清华大学出版社，2015.