markdown 基于骨架的行为识别特征
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了markdown 基于骨架的行为识别特征相关的知识,希望对你有一定的参考价值。
## 1. 归一化两关节点之间的距离(Pairwise Distance between joints,PD)
***Online RGB-D Gesture Recognition with Extreme Learning Machines (ICMI2013)***

## 2. 时域差分(Temporal Differencing) **可以考虑**
***Online RGB-D Gesture Recognition with Extreme Learning Machines (ICMI2013)***

## 3. 将3D骨架特征转换为灰度图片
***A New Representation of Skeleton Sequences for 3D Action Recognition (CVPR 2017)***
- 每一段3d skeleton sequence都转换成四张图片
- 以左肩、右肩、左臀、右臀作为基准点,计算和其他节点的相对位置,由此得到四个矩阵,再把这四个矩阵归一化到0-255之间,变成灰度图片,再送入网络提特征
- 每张图片的维度:(m−1)∗ t
m:关节点个数
t:帧数
## 4. Posebits
***Posebits for Monocular Human Pose Estimation (CVPR 2014)***

## 5. 关节点间相对位置RP,距离JJD,以及一个关节点到两个关节点连线之间距离JLD
- 相对位置relative position(RP)
- 关节点间距离distances between joints(JJD)
- 一个关节点到两个关节点连线之间距离distances between joints and lines(JLD)
***SKELETON-BASED ACTION RECOGNITION USING LSTM AND CNN(ICME 2017)***
人体骨架第j个关节点的三维坐标为:

第j个关节点和第k个关节点之间的相对位置relative position RP:

在第t帧,第j个关节点和第k个关节点之间的欧氏距离JJD:

第j个关节点和第k个关节点之间的连线为:
在第t帧,第n个关节点与第j个关节点和第k个关节点之间的连线的距离 JLD:

其中代表关节点n,j,k三点连成三角形的面积
## 6. 成对的相对距离
***Mining Key Skeleton Poses with Latent SVM for Action Recognition***

- 将关节点坐标根据某一个根节点进行归一化
- 将关节归一化后的坐标,以及两两之间的相对距离,合并作为最后的特征
## 7. 相对距离和角度
***Skeleton based human action recognition with profile hidden markov models***
## 8. HIF3D
***HIF3D: Handwriting-Inspired Features for 3D skeleton-based action recognition***

## 9. 骨架动作识别中几何特征的融合
***Fusing Geometric Features for Skeleton-Based Action Recognition using Multilayer LSTM Networks***
- 为了尽量避免两个流之间有信息交换,每个流应该有自己softmax和loss层。
- 之前流行的方法是每个feature分配平均的权重,但是不同的feature对最终的预测结果有不同的贡献,所以他们之间的权重应该不同
### 三种普遍融合方法比较
输入层融合,全连接融合,最后平均score融合

### Smoothed score 融合方法:
N是模型的个数,T是一个尺度因子,α是各个流的权重

以上是关于markdown 基于骨架的行为识别特征的主要内容,如果未能解决你的问题,请参考以下文章