markdown 基于骨架的行为识别特征

Posted 2021-05-05

## 1. 归一化两关节点之间的距离（Pairwise Distance between joints，PD）  
***Online RGB-D Gesture Recognition with Extreme Learning Machines (ICMI2013)***
![](https://ws1.sinaimg.cn/large/cdd040eely1g2qt2xdou5j20gg08r0tz.jpg)  

## 2. 时域差分（Temporal Differencing）  **可以考虑**
***Online RGB-D Gesture Recognition with Extreme Learning Machines (ICMI2013)***
![](https://ws1.sinaimg.cn/large/cdd040eely1g2qt5ih9c6j20hb09umxn.jpg)  

## 3. 将3D骨架特征转换为灰度图片  
***A New Representation of Skeleton Sequences for 3D Action Recognition (CVPR 2017)***
- 每一段3d skeleton sequence都转换成四张图片
- 以左肩、右肩、左臀、右臀作为基准点，计算和其他节点的相对位置，由此得到四个矩阵，再把这四个矩阵归一化到0-255之间，变成灰度图片，再送入网络提特征
- 每张图片的维度：（m−1）∗ t  
m:关节点个数  
t:帧数   

## 4. Posebits 
***Posebits for Monocular Human Pose Estimation (CVPR 2014)***  
![](https://ws1.sinaimg.cn/large/cdd040eely1g2qtljz389j20g907z0t6.jpg)  

## 5. 关节点间相对位置RP，距离JJD，以及一个关节点到两个关节点连线之间距离JLD
- 相对位置relative position（RP）
- 关节点间距离distances between joints（JJD）
- 一个关节点到两个关节点连线之间距离distances between joints and lines（JLD）  
***SKELETON-BASED ACTION RECOGNITION USING LSTM AND CNN(ICME 2017)***  
人体骨架第j个关节点的三维坐标为：  
![](https://ws1.sinaimg.cn/large/cdd040eely1g2roxo6ltgj205d013glf.jpg)  
第j个关节点和第k个关节点之间的相对位置relative position RP：  
![](https://ws1.sinaimg.cn/large/cdd040eely1g2rozf8cz3j20jm01ndfp.jpg)  
在第t帧，第j个关节点和第k个关节点之间的欧氏距离JJD：  
![](https://ws1.sinaimg.cn/large/cdd040eely1g2rp1p319qj20jp01iwed.jpg)  
第j个关节点和第k个关节点之间的连线为:![](https://ws1.sinaimg.cn/large/cdd040eely1g2rp342nbwj201i013a9t.jpg)  
在第t帧，第n个关节点与第j个关节点和第k个关节点之间的连线的距离 JLD：  
![](https://ws1.sinaimg.cn/large/cdd040eely1g2rp4kp6kej20jx01i3yg.jpg)  
其中![](https://ws1.sinaimg.cn/large/cdd040eely1g2rp6634g3j202h01adfm.jpg)代表关节点n，j，k三点连成三角形的面积

## 6. 成对的相对距离  
***Mining Key Skeleton Poses with Latent SVM for Action Recognition***  
![](https://ws1.sinaimg.cn/large/cdd040eely1g2rveizrkpj20ig0ditan.jpg)  
- 将关节点坐标根据某一个根节点进行归一化  
- 将关节归一化后的坐标，以及两两之间的相对距离，合并作为最后的特征

## 7. 相对距离和角度
***Skeleton based human action recognition with profile hidden markov models***  


## 8. HIF3D
***HIF3D: Handwriting-Inspired Features for 3D skeleton-based action recognition***  
![](https://ws1.sinaimg.cn/large/cdd040eely1g2qtpzzhsrj20fe0583zu.jpg)  


## 9. 骨架动作识别中几何特征的融合  
***Fusing Geometric Features for Skeleton-Based Action Recognition using Multilayer LSTM Networks***  
- 为了尽量避免两个流之间有信息交换，每个流应该有自己softmax和loss层。 
- 之前流行的方法是每个feature分配平均的权重，但是不同的feature对最终的预测结果有不同的贡献，所以他们之间的权重应该不同  

### 三种普遍融合方法比较
输入层融合，全连接融合，最后平均score融合 
![](https://ws1.sinaimg.cn/large/cdd040eely1g2rwx257ffj20e80c1jsj.jpg)  

### Smoothed score 融合方法：  
N是模型的个数，T是一个尺度因子，α是各个流的权重 
![](https://ws1.sinaimg.cn/large/cdd040eely1g2rwy635rej20i709qwfb.jpg)