利用卷积神经网络对大规模可穿戴传感器数据进行运动分类

Posted 2020-11-13 kanjian2016

Exercise Motion Classification from Large-scale Wearable Sensor Data Using Convolutional Neural Networks

利用卷积神经网络对大规模可穿戴传感器数据进行运动分类

本文使用CNN来对可穿戴传感器收集的大规模运动数据进行分类，同时对传感器数据转换为不同的图像格式输入做出了比较。最佳性能配置以92.1%的准确率将50种健身房运动分类。

作者在这里使用的是CNN而不是RNN(常用来处理时序数据)，是因为每次的重复运动练习（如举哑铃）是花费的时间是非常短的少于4秒，训练时不需要长时间的记忆。

数据集使用的是从PUSH（一种戴在前臂上的可穿戴设备，用于测量运动员的运动）收集的，该数据是由1441名男运动员和307名女运动员的449260个重复运动练习组成的49194个集合组成。

因为CNN的输入长度是固定的，所以将每条序列的长度固定为784。拥有超过784个样本的代表被简单地裁剪出来784个样本，不足的采用zero-paded。

该装置紧紧地绑在上臂上，分别用内置加速度计和陀螺仪测量加速度和方向，因此，时间序列数据具有9个特征(Acc x， Acc y，Acc z) in the local frame， (Acc x， Acc y， Acc z) in the world frame and (EulerAngle x，EulerAngle y， EulerAngle z) in the world frame，数据采集的频率为200HZ。

将传感器数据转换成2D形式的输入有3种方法。不同的图像格式选择会导致不同的卷积与不同的相邻元素，其中可能包括不相关元素之间的卷积。

1. 把9×784的时间序列数据作为一个矩形二维图像。
2. 将三个不同的特征组（local accelerations，world accelerations，and Euler angles）类比为图像中的RGB通道，并创建一个3×784×3的张量。
3. 将9×784的时间序列数据重新塑造为84×84的方阵如下图所示。

不同各式的2D输入对于卷积的影响

对于9*784形式的输入来说，如果进行步长为1的卷积操作（作者称为9*784 full），Acc_x_local位于图像的最上面一行，直到最后一层才与位于最下面一行的Euler_Angle_z进行卷积，然而Acc_z_world位于图像的第6行，它与位于第7行的Euler_Angle_x有很多卷积的机会，因为它们是相邻的。

对于3*784*3 形式的输入来说，由于卷积分别在3个通道上分别进行，这样不同的组之间就不会发生卷积。

为了避免9*784形式的输入在一层中不同组之间的卷积，可以使用卷积步长来避免这种影响（作者称为9*789 disjointed）。如下图所示。

左图中沿着y轴移动步长为1这样不同的组之间就会发生卷积。右图中沿着y轴移动而步长为3，可以避免不同组之间进行卷积。

实验结果表明，将不同的特征组（local acceleration，world acceleration， Euler angle）作为不同的图像通道(3*784*3)处理比二维正方形(84*84)图像或矩形(9*783)图像效果更好。

[论文地址][https://arxiv.org/abs/1610.07031]