MMPose

Posted 2021-05-29 Arrow

MMPose

• 1. 简介
• • 1.1 主要功能
  • 1.2 模型支持
  • • 1.2.1 支持的骨干网络（用于特征提取）
    • 1.2.2 支持的人体姿态估计方法
    • 1.2.3 支持的数据集
• 2. UDP (Unbiased Data Processing-2021)

1. 简介

• MMPose代码
• MMPose文档
• CoCo Keypoint排行榜
• MMPose：是一个基于PyTorch的开源的姿态估计工具箱
• 工作环境要求：
  • PyTorch 1.3+

1.1 主要功能

• 支持各种主流的人体姿态估计（2D多人姿态估计、2D Hand姿态估计、133个KeyPoints的人体姿态估计、3D人体网格恢复）
• 更高的效率的准确率：实现多个先进的深度学习模型、包括top-down和bottom-up方法
• 与流行的codebase相比，有更快的训练速度和更高的准确率
• 支持多种数据集：COCO, AIC, MPII, MPII-TRB, OCHuman等
• 精心的设计，测试和文档

1.2 模型支持

1.2.1 支持的骨干网络（用于特征提取）

• AlexNet (NeurIPS’2012)
• VGG (ICLR’2015)
• HRNet (CVPR’2019)
• ResNet (CVPR’2016)
• ResNetV1D (CVPR’2019)
• ResNeSt (ArXiv’2020)
• ResNext (CVPR’2017)
• SCNet (CVPR’2020)
• SEResNet (CVPR’2018)
• ShufflenetV1 (CVPR’2018)
• ShufflenetV2 (ECCV’2018)
• MobilenetV2 (CVPR’2018)

1.2.2 支持的人体姿态估计方法

• DeepPose (CVPR’2014)
• Wingloss (CVPR’2018)
• CPM (CVPR’2016)
• Hourglass (ECCV’2016)
• SimpleBaseline (ECCV’2018)
• HRNet (CVPR’2019)
• HRNetv2 (TPAMI’2019)
• SCNet (CVPR’2020)
• Associative Embedding (NeurIPS’2017)
• HigherHRNet (CVPR’2020)
• DarkPose (CVPR’2020)：(AP:0.789 Coco Keypoint 排名第三 2021.5)
• UDP (CVPR’2020) ： (Unbiased Data Processing 无偏数据处理：AP:0.808 Coco Keypoint 排名第一 2021.5)
• MSPN (ArXiv’2019)
• RSN (ECCV’2020)
• HMR (CVPR’2018)
• Simple 3D Baseline (ICCV’2017)
• InterNet (ECCV’2020)

1.2.3 支持的数据集

• COCO (ECCV’2014)
• COCO-WholeBody (ECCV’2020)
• MPII (CVPR’2014)
• MPII-TRB (ICCV’2019)
• AI Challenger (ArXiv’2017)
• OCHuman (CVPR’2019)
• CrowdPose (CVPR’2019)
• PoseTrack18 (CVPR’2018)
• MHP (ACM MM’2018)
• sub-JHMDB (ICCV’2013)
• Human3.6M (TPAMI’2014)
• 300W (IMAVIS’2016)
• WFLW (CVPR’2018)
• AFLW (ICCVW’2011)
• COFW (ICCV’2013)
• OneHand10K (TCSVT’2019)
• FreiHand (ICCV’2019)
• RHD (ICCV’2017)
• CMU Panoptic HandDB (CVPR’2017)
• InterHand2.6M (ECCV’2020)
• DeepFashion (CVPR’2016)
• Animal-Pose (ICCV’2019)
• Horse-10 (WACV’2021)
• MacaquePose (bioRxiv’2020)
• Vinegar Fly (Nature Methods’2019)
• Desert Locust (Elife’2019)
• Grévy’s Zebra (Elife’2019)
• ATRW (ACM MM’2020)

2. UDP (Unbiased Data Processing-2021)

• 影响Human Pose Estimation精度的主要原因：
  • 图像预处理（如：cropping, resizing, rotating and flipping）之后的图像未与原图对齐，在进行坐标系变换时以pixel为单位，从而带来了偏差
  • 有缺陷的关键点格式变换（即编码和解码）方法将导致额外的精度下降
• 解决方案:
  • 无偏坐标系变换
  • 无偏关键点格式变换
• 主要贡献：
  • 对于bottom-up方案：UDP同时提高了准确度且减少了运行时间
• 核心思想
  • 它是一个与模型无关的方法和出色的解决方案，UDP成功地突破了人体姿势估计问题的性能边界，如下图