深度步态识别综述

Posted 2022-07-13 wx5cbd4315aefc1

文章目录

• ​​Deep Gait Recognition: A Survey​​

• ​​Abstract​​

• ​​INTRODUCTION​​
• ​​REVIEW METHODOLOGY​​
• ​​TEST PROTOCOLS AND DATASETS​​

• ​​Protocols​​
• ​​Datasets​​

• ​​参考文献​​

Deep Gait Recognition: A Survey

---

Abstract

---

​​步态识别是一种极具吸引力的生物特征识别方法，旨在根据人走路的方式来识别人。​​自2015年以来，深度学习通过自动学习辨别性特征的能力重塑了该领域的研究格局。基于深度学习的步态识别方法目前在该领域占据主导地位，并且促进了实际应用。本文全面概述了深度学习步态识别的突破和最新发展，涵盖了广泛的主题，包括数据集、测试协议、最先进的解决方案、挑战和未来的研究方向。首先概述了常用的步态数据集以及用于评估它们的原则。然后，本文提出了一种由四个独立维度组成的新分类法，即身体表征、时间表征、特征表征和神经架构，以帮助描述和组织该领域的研究现状和文献。在提出的分类法之后，本文对使用深度学习的步态识别方法进行了全面的综述，并讨论了它们的性能、特点、优点和局限性。最后，本文讨论了当前的挑战，并提出了步态识别未来研究的一些有希望的方向。

---

INTRODUCTION

---

​​​步态，被定义为人们走路的方式，包含了关于人类受试者的相关线索。​​因此，它已被广泛应用于不同的应用领域，如影响分析、体育科学、健康和用户识别。步态信息可以通过一些传感方式来捕获，例如附着在人体上的可穿戴传感器，例如加速计、陀螺仪以及力和压力传感器。非穿戴式步态识别系统主要使用视觉，因此通常称为基于视觉的步态识别。这些系统使用成像传感器捕捉步态数据，而不需要受试者的合作，甚至可以从很远的距离采集。本文的重点​​是综述主要依赖深度学习的基于视觉的步态识别系统​​。本文只关注基于视觉的步态识别，因为最近发表了一篇综合性综述文章，对基于穿戴的步态识别方法进行了调查。

基于视觉的步态识别系统（以下仅称为步态识别）的性能可能会受到i）个人外观变化的影响，例如携带手提包/背包或穿着诸如帽子或外套等衣物；ii）摄像机视角的变化；iii）遮挡因素，例如，在某些视角（也称为自遮挡）中，受试者身体的一部分被物体部分覆盖，或者被受试者自身身体的一部分覆盖；iv）环境的变化，例如复杂背景和高或低水平照明，这通常使分割和识别过程更加困难。

在过去的二十年中，许多步态识别方法被开发用来解决上述问题。近年来，步态识别从非深度方法向基于深度学习的解决方案过渡的趋势十分明显。为了可视化这一趋势，作者画了图1，图1显示了2015年后发表的步态识别论文的数量。据观察，2019年和2020年的大多数步态识别方法都是基于深度神经网络设计的。在图2中，本文展示了一些最重要的步态识别方法的演变，以及它们在CASIA-B（也许是最流行的步态识别数据集）上的相关准确性。第一个步态识别方法于1997年提出，随后于2008年提出了第一个用于步态识别的浅层神经网络，它仅由一个输入层、一个隐藏层和一个输出层组成。2015年，该领域取得了重大突破，主要得益于深度神经网络的普及。2016年，基于6层卷积神经网络（CNN），提出了名为GaitNet的方法。2017年，提出了基于深度信念网络（DBN）的DBNGait，并在CNNGait中融合了三种不同深度的CNN架构，用于步态识别。VGR-Net是2018年的重要贡献之一，随后在2019年引入了几种重要方法，包括PoseGait、DisentangledGait和GaitSet，其中GaitSet达到了​​84.2%​​的最佳识别准确率。2020年取得了显著进步，特别是出现了几种高效方法，包括PartialRNN、GaitPart、GLN、HMRGait和3DCNNGait。目前在CASIA-B数据集上最先进的结果是由3DCNNGait报告的，识别准确率为​​90.4%​​。

到目前为止，几篇调查论文10、11、12、13、14、36、37、38综述了步态识别的最新进展，其中一些论文，例如13、37、38，侧重于非基于视觉的步态识别方法。关于基于视觉的步态识别的最新调查论文有10、11、12、14、36，仅涵盖2018年年中之前发表的论文。尽管如此，如图1和图2所示，自2019年以来，深度学习在步态识别方面取得了许多重大突破。此外，没有一项调查[10]、[11]、[12]、[14]、[36]专门关注步态识别的深度学习方法。

本文调查了截至2021年1月底的步态识别的最新进展，以系统的方式对深度步态识别方法的技术和性能方面提供了见解。在此背景下，我们首先提出了一种具有四个维度的新分类法，即身体表征、时间表征、特征表征和神经结构，以帮助描述和组织可用的方法。根据本文提出的分类法，对所有可用的深度步态识别方法进行了全面的综述，并对其特征和性能进行了讨论。作者已经建立了特定的搜索协议，以确保其他学者能够自信地在未来的研究中使用该综述。

本文主要贡献总结如下：

1. ​​提出了一种新的四维分类法来描述和组织现有的深度步态识别方法。​​
2. ​​对深度步态识别方法的演变进行了分类指导的概述，其中大部分方法在以前的调查中没有被概述。​​
3. ​​使用大规模公共步态数据集上报告的现有结果，对最新技术进行了比较，深入了解了不同深度步态识别方法的有效性。​​
4. ​​概述了15个公开的基于视觉的步态识别数据集及其相关的测试协议​​
5. ​​讨论了一些公开的挑战，并确定了重要的未来研究方向，这将对步态识别的研究人员有帮助。​​

综述的其余部分结构如下。首先描述了用于搜索收集论文和文献中收集论文的系统方法。接下来，在第3节中，将概述可用的步态数据集及其相关的测试协议。然后，在概述深度步态识别方法时，使用这些数据集和协议来报告现有的性能结果。第4节介绍了本文提出的分类法。接下来，第5节综述了深步态识别的最新进展，并讨论了近几年来深步态识别的发展趋势。最后，第6节讨论了一些深层步态识别挑战，并确定了一些未来的研究领域。（​​​概述了论文剩余部分的结构​​）

---

REVIEW METHODOLOGY

---

作者采用了特定的搜索协议，以确保其他学者能够自信地在未来的研究中使用该综述。为此，首先通过Google Scholar搜索引擎和数字图书馆，即IEEE Xplore、ACM Digital Library、ScienceDirect和CVF Open Access查找候选论文。搜索词包括以下查询的组合：“步态识别”、“步态识别”、“步态生物识别”、“神经结构”、“深度学习”和“深度表征”。然后，审查并过滤了搜索结果，从而排除了既没有使用深度学习方法进行步态识别，也没有展示足够技术清晰度/深度的论文。 为了更具体地说明“清晰度/深度”标准，排除了i）使用非视觉传感器进行步态识别的论文；ii）没有提出新的解决方案；iii）使用非标准或私有数据集进行绩效评估；iv）没有将其解决方案的性能与最新技术进行比较。在其他模式与基于视觉的传感器相结合的情况下，只研究了侧重于基于视觉方面的技术解决方案。 （​​这段在说作者如何查询和筛选论文​​）

本文对出版物的日期进行了限制，只包括2014年之后的搜索结果，当时深度神经网络首次被用于生物识别。然后，作者利用返回的结果进行前向和后向搜索，分别确定引用过返回文章的其他资源以及返回文章所引用的参考文献。对新确定的资源重复这一过程，直到我们收集到作者所知的最相关的论文。最终得到了一组使用深度学习进行步态识别的出版物。

（​​以上从两个方面收集论文，一个是搜索引擎和数字图书馆中检索，另一个是从收集到的文献中进一步检索文献，进而收集论文​​）

---

TEST PROTOCOLS AND DATASETS

---

Protocols

步态识别解决方案的评估协议通常可分为受试者相关和受试者无关。如图3所示，在受试者相关协议中，训练集和测试集都包括来自所有受试者的样本。然而，在受试者无关协议中，测试受试者与训练受试者是不相交的。在后一种协议下，测试数据被进一步分为注册集和验证集，然后用在不相交的训练对象上学习到的模型来提取注册集和验证集的特征。​​最后，使用分类器将验证特征与注册特征进行比较，以识别最相似的步态模式，并将它们标记为来自相同的人。​​在步态识别中，受试者相关和受试者无关协议被广泛采用。 例如，在TUM GAID数据集中，经常使用受试者相关协议，而在CASIA-B和OU-MVLP大规模数据集中，则使用受试者无关协议。文献中的步态识别结果都是使用rank-1识别精度进行测量和表示的。

Datasets

为了评估步态识别系统，收集了不同的数据集。这些数据集包括了与采集视角、环境条件和受试者外观相关的各种参数。 一般来说，大数据集，无论是在样本和参数的数量和分布上，都是人们所希望的，也是首选的，以使深度神经网络得到有效训练。本文在表1中概述了著名步态数据集的主要特征。这些特征包括数据的类型和模式、受试者和序列的数量、视角的数量，以及每个数据集中包含的变化。为了显示这些数据集的时间演变，本文按照表1中发布日期的顺序对这些数据集进行了排序。 根据表1，CASIA-B、CASIA-E、OU-ISIR MV和OU-MVLP涵盖了最多的采集视角，而OU-ISIR、OU-ISIR LP Bag和OU-MVLP包含了最多的步态序列。 在下文中，作者概述了表1中提供的步态数据集以及相关的测试协议。

CMU MoBo: The CMU Motion of Body (MoBo)数据集是文献中第一个步态数据集，由25名在跑步机上行走的不同受试者的RGB和轮廓数据组成。 此数据集涵盖三个子集，包括慢速行走、快速行走和持球行走。

SOTON: SOTON数据集包含115名受试者的步态数据。所有的序列在室内和室外都被记录下来，用一个固定的摄像机，捕捉沿着一条笔直的路径行走的受试者。在跑步机上行走时，从受试者身上获取了室内步态数据。不同的论文将该数据集划分为不同的训练集和测试集，并且没有预定义的测试协议可与该数据集一起使用。

CASIA-A: CASIA-A数据集，包括20名受试者在室外环境中的步态序列。受试者沿着一条直线行走，三个摄像头位于, , 和。拍摄的步态视频，平均每个序列90帧。跨视角测试协议是该数据集最广泛使用的协议，其中测试协议使用所有可用视角进行训练，不包括用于测试的视角。

USF HumanID: USF HumanID数据集是在HumanID步态挑战的背景下收集的，包括122名在椭圆路径上行走的受试者的户外步态视频。该数据集涵盖了各种具有挑战性的变化，包括携带公文包、在不同表面行走、穿着不同的鞋以及采集时间。数据是由左、右两个摄像头从两个观察角度采集的。评估研究已与数据集一起提供，该数据集考虑了与上述变化相关的 12 种不同测试协议。

步态识别基于CNN深度学习的步态识别算法的MATLAB仿真

步态识别基于深度学习的步态识别系统的MATLAB仿真，包括ALEXNET，改进CNN，GOOGLENET

读《基于深度学习的跨视角步态识别算法研究》

基于深度学习的步态识别算法的MATLAB仿真

步态识别基于CNN步态能量图+HOG特征提取的步态识别算法的MATLAB仿真

图像识别基于matlab实现步态周期检测与步态角度特征