行人属性识别研究综述

Posted 2023-01-24 AI浩

文章目录

• 6 PAR（行人属性识别）算法综述
• • 6.1全局基于图像的模型
  • • 6.1.1 ACN (iccvw-2015)
  • 6.1.2 DeepSAR and DeepMAR (ACPR-2015) [6]
  • • 6.1.3 MTCNN (TMM-2015) [7]
  • 6.2 基于部件的模型
  • • 6.2.1 Poselets (ICCV-2011)
    • 6.2.2 rad (iccv-2013)
    • 6.2.3 PANDA (cvp -2014) [10]
    • 6.2.4 MLCNN (ICB-2015) [11]
    • 6.2.5 AAWP (ICCV-2015) [12]
    • 6.2.6 ARAP (BMVC2016) [13]
    • 6.2.7 DeepCAMP (CVPR-2016) [14]
    • 6.2.8 PGDM (ICME-2018) [15]
    • 6.2.9 DHC (eccv-2016) [16]
    • 6.2.10 LGNet (BMVC-2018) [17]
  • 6.3 基于注意力的模型
  • • 6.3.1 HydraPlus-Net (ICCV-2017)
    • 6.3.2 VeSPA (ArXiv-2017) [19]
    • 6.3.3 DIAA (ECCV-2018) [20]
    • 6.3.4 CAM (PRL-2017) [21]
  • 6.4 基于序列预测的模型
  • • 6.4.1 cnn-rnn (cvpr-2016)
    • 6.4.2 JRL (ICCV-2017) [23]
    • 6.4.3 GRL (IJCAI-2018) [24]
    • 6.4.4 JCM (arXiv-2018) [25]
    • 6.4.5 RCRA (AAAI-2019) [102]
  • 6.5 基于损失函数的模型
  • • 6.5.1 WPAL-network (BMVC-2017)[26]
    • 6.5.2 AWMT (MM-2017) [27]
  • 6.6 基于算法的课程学习
  • • 6.6.1 MTCT (wacv-2017) [109]
    • 6.6.2 CILICIA (ICCV-2017) [110]
  • 6.7 基于图模型的算法
  • • 6.7.1 DCSA (ECCV-2012) [28]
    • 6.7.2 A-AOG (TPAMI-2018) [29]
    • 6.7.3 VSGR (AAAI-2019) [30]
  • 6.8 其他算法
  • • 6.8.1 PatchIt (BMVC-2016) [31]
    • 6.8.2 FaFS (CVPR-2017)
    • 6.8.3 GAM (AVSS-2017) [33]
• 7 应用
• 8 未来研究方向
• • 8.1更精确高效的局部定位算法
  • 8.2用于数据增强的深度生成模型
  • 8.3进一步探索视觉注意机制
  • 8.4 新设计的损失函数
  • 8.5 探索更高级的网络架构
  • 8.6 先验知识引导学习
  • 8.7 多模态行人属性识别
  • 8.8 基于视频的行人属性识别
  • 8.9 属性与其他任务的联合学习
• 9 结论

行人属性识别研究综述（一）

🐇🐇🐇🐇🐇🐇 🐇 欢迎阅读 【AI浩】 的博客🐇 👍 阅读完毕，可以动动小手赞一下👍 🌻 发现错误，直接评论区中指正吧🌻 📆 这是一篇研究行人属性识别综述论文📆 💯论文链接： Pedestrian Attribute Recognition: A Survey💯

6 PAR（行人属性识别）算法综述

在本节中，我们将从以下八个方面综述基于深度神经网络的PAR算法:基于全局的、基于局部部件的、基于视觉注意的、基于序列预测的、基于新设计的损失函数的、基于课程学习的、基于图模型的和其他算法。

6.1全局基于图像的模型

在本节中，我们将回顾只考虑全局图像的PAR算法，如ACN [5]， DeepSAR [6]， DeepMAR[6]， MTCNN[7]。

6.1.1 ACN (iccvw-2015)

提出了一种基于卷积网络的多分支分类层的属性学习方法。如图22所示，他们采用预训练的AlexNet作为基本特征提取子网络，并使用KL-loss (Kullback-Leibler divergence based loss function)将最后的全连接层替换为每个属性一个损失。具体配方如下:
$$KL(P\Vert Q)=\sum _i^{N}P\left(x_i\right)\log \frac{Q\left(x_i\right)}{P\left(x_i\right)}\text{\hspace{1em}(11)}$$
其中Q是神经网络的预测，P是二进制属性的实际状态。

此外，他们还提出了一个名为PARSE-27k的新数据集来支持他们的评估。该数据集包含27000名行人，并配有10个属性标注。与普通的行人属性数据集不同，他们提出了一种新的类别标注方法，即，不可判定(N/A)。因为对于大多数输入图像，由于遮挡、图像边界或任何其他原因，一些属性是不可判定的。

6.1.2 DeepSAR and DeepMAR (ACPR-2015) [6]

针对传统行人属性识别方法中存在的2个问题，引入深度神经网络进行行人属性识别:1)现有方法中使用的手工特征，如HOG、颜色直方图、LBP (local binary patterns);2).属性之间的相关性通常被忽略。本文提出了DeepSAR和DeepMAR两种算法，如图23所示。他们采用AlexNet作为骨干网络，通过将最后一个密集层定义的输出类别更改为两个来获得DeepSAR。采用softmax损失计算最终的分类损失。

尽管DeepSAR可以使用深度特征进行二分类。然而，它没有对人类属性之间的相关性进行建模，而这可能是进一步提高整体识别性能的关键。因此，他们提出了DeepMAR，同时接收人类图像及其属性标签向量，并通过sigmoid交叉熵损失联合考虑所有属性:
$$L_{ce}=-\frac{1}{N}\sum _{i=1}^N\sum _{l=1}^L{y}_{il}\log \left({\hat{P}}_{il}\right)+\left(1-y_{il}\right)\log \left(1-\widehat{p_{il}}\right)\text{\hspace{1em}(12)}$$

$$\widehat{p_{il}}=\frac{1}{1+\exp \left(-x_{il}\right)}\text{\hspace{1em}(13)}$$

其中$\widehat{p_{il}}$是样本$x_i$第l个属性的估计得分。$y_{il}$是最真实的标签。

此外，他们还考虑了实际监控场景中的标签分布不平衡问题，提出了一种改进的损失函数如下:
$$L_{wce}=-\frac{1}{N}\sum _{i=1}^N\sum _{l=1}^L{w}_l\left(y_{il}\log \left(\widehat{P_{il}}\right)+\left(1-y_{il}\right)\log \left(1-\widehat{p_{il}}\right)\right)\text{\hspace{1em}(14)}$$

$$w_l=\exp \left(-p_l/{\sigma }^2\right)\text{\hspace{1em}(15)}$$

其中$w_l$是第l层属性的损失权重。$p_l$表示训练数据集中l层属性的正比率。$\sigma$是一个超参数。

6.1.3 MTCNN (TMM-2015) [7]

文中提出了一种利用CNN进行属性估计的联合多任务学习算法MTCNN，如图24所示。MTCNN让CNN模型在不同属性类别之间共享视觉知识。通过对CNN特征进行多任务学习来估计相应的属性。在他们的MTL框架中，他们还使用了丰富的信息组，因为知道任何关于特征统计信息的先验信息肯定会帮助分类器。利用分解方法从分类器总权重矩阵W中得到可共享的潜在任务矩阵L和组合矩阵S，通过学习局部特征$W=LS$实现灵活的组间全局共享和竞争。因此，目标函数(MTL squared maxing hinge loss)表示为:
min ⁡ L , S ∑ m = 1 M ∑ i = 1 N m 1 2 [ max ⁡ ( 0 , 1 − Y m i ( L s m ) T X m i ) ] 2 + μ ∑ k = 1 K ∑ g = 1 G ∥ s k g ∥ 2 + γ ∥ L ∥ 1 + λ ∥ L ∥ F 2 (16) \\beginarrayr \\min _L, S \\sum_m=1^M \\sum_i=1^N_m \\frac12\\left[\\max \\left(0,1-Y_m^i\\left(L s^m\\right)^T X_m^i\\right)\\right]^2+ \\\\ \\mu \\sum_k=1^K \\sum_g=1^G\\left\\|s_k^g\\right\\|_2+\\gamma\\|L\\|_1+\\lambda\\|L\\|_F^2 \\endarray \\tag16 第66篇行人属性识别研究综述

行人属性识别研究综述

行人属性识别研究综述

行人属性识别的一个调研

行人属性识别的一个调研

深度学习行人重识别综述与展望，TPAMI 2021 最新文章