2020年 行人重识别的挑战 与 最新进展

Posted 2021-07-03 等待破茧

首发于悉尼科技大学ReLER实验室

2020年 行人重识别的挑战 与 最新进展 （35页PPT整理）

郑哲东

​

计算机科学博士在读

行人重识别近几年获得了在测试结果上的大幅提升，甚至超过了人的分辨能力，但是我们在实际应用上仍有很多待解决的问题。在本文中，我们take a step back, 提出了一些问题和潜在的解决方案，主要以我们reler组的尝试为主，包括大家比较熟知的 PCB / HHL/ PUL/ SPGAN/ DG-Net等工作，抛砖引玉。 希望能为未来这个领域的发展提供一些新的视野。

由于篇幅，我们只能展示有限的工作，我们respect所有在这个领域作出贡献的老师同学们。感谢大家！这篇文章中提到多数文章的代码，我们都开源在github了，如果没有找到，可以联系

@郑哲东

或者联系对应作者来提供。感谢大家的支持和关注！

---------------更新-------------

B站讲解视频： 【极市】郑哲东：从行人重识别到无人机定位_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

• 背景介绍

行人重识别任务就是一个跨摄像头检索的任务。这个任务的出现是由于 日益提升的公共安全需求 和 在公共区域的大型摄像头网络 （如迪士尼乐园/商场/大学校园）。

首要的难度是在于不同摄像头下，由于视角的差异所引入的appearance变化。同时，也需要一些细粒度的信息来区分不同人。

Reference: Zheng L, Bie Z, Sun Y, et al. Mars: A video benchmark for large-scale person re-identification[C]//European Conference on Computer Vision. Springer, Cham, 2016: 868-884.

近几年，supervised person re-id 一直在提升结果。

今年我们组也在CVPR 2020 Workshop的比赛中，在车辆重识别赛道拿到了第一名。我们发现仍有一些问题没有被解决，包括训练数据等等方面。

目前已经有了很多数据集，但是相比ImageNet 一百万的训练数据，目前reID的数据集都还是相对小。

代码：layumi/AICIty-reID-2020

Reference ： Zheng, Z., Jiang, M., Wang, Z., Wang, J., Bai, Z., Zhang, X., Yu, X., Tan, X., Yang, Y., Wen, S. and Ding, E., 2020. Going beyond real data: A robust visual representation for vehicle re-identification. InProceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(pp. 598-599).

Reference: NEU-Gou/awesome-reid-dataset

• 所以，总的来说，在实际场景中，应用reID的挑战仍是多个方面的，包含 数据/效率/性能等等方面。对应也有一些潜在的解决方案，我们组做了一些尝试。

1. 对于有限的数据，最直接的方案就是补充数据。但是额外的数据往往需要额外的标注。同时，我们无法保证额外数据的分布是否改变（比如额外数据是一天内不同时间采集的，光照不同）。

Reference: Zheng, Z., Yang, X., Yu, Z., Zheng, L., Yang, Y., & Kautz, J. (2019). Joint discriminative and generative learning for person re-identification. InProceedings of the IEEE conference on computer vision and pattern recognition(pp. 2138-2147).

Code: NVlabs/DG-Net

2. 除了训练数据，大家最关心的就是训练的有效性了。如何挖掘数据背后的故事，特别是局部细节。

3. 在行人重识别的精准度有了长足发展之后，效率也是一个必须考虑的方面。

4. 如果标注很有限，该怎么学习呢？

5. 训练集与测试集的采集方式不同，就导致了domain gap。这也是在实际落地reID遇到的最大问题。

6.最后，在非限制场景中，往往会遇到遮挡等等环境问题。如何学习一个鲁棒的行人表示？

Reference: Zheng, Z. and Yang, Y., 2020. Person Re-identification in the 3D Space.arXiv preprint arXiv:2006.04569.

Code: layumi/person-reid-3d

目前reID任务已经有了长足的发展，未来可能的方向，包含 鲁棒性，快速学习，在线学习等等。基本还是以落地实用 为导向。

感谢大家，我们提出了一些问题和潜在的解决方案，主要以我们reler组的尝试为主，抛砖引玉。 希望我们微小的工作能为未来这个领域的发展提供一些新的视野。

由于篇幅，我们只能展示有限的工作，我们respect所有在这个领域作出贡献的老师同学们。感谢大家！

 

悉尼科技大学ReLER实验室​zhuanlan.zhihu.com郑哲东：TMM｜车辆重识别的一些实践​zhuanlan.zhihu.com

郑哲东：【新无人机数据集】从 行人重识别 到 无人机目标定位​zhuanlan.zhihu.com

郑哲东：简单行人重识别代码到88%准确率​

zhuanlan.zhihu.com

 

悉尼科技大学ReLER实验室

悉尼科技大学 ReLER实验室

PaperWeekly

欢迎关注同名微信公众号：PaperWeekly

行人重识别

行人重识别算法 代码 最新综述

推荐阅读

WACV 2021 论文大盘点-行人监控篇

我爱计算机...发表于我爱计算机...

TPAMI2021|深度学习行人重识别综述与展望

作者：叶茫 武汉大学 摘要：行人重识别（Person Re-Identification，简称Re-ID），是一种利用计算机视觉技术来检索图像或者视频序列中是否存在特定行人的AI技术，在智慧城市等监控场景中具…

叶茫

CVPR2021 行人再识别虚拟生成数据预训练UnrealPerson

张天宇

 

主学长视频分类的论文：

[1611.09053] Bidirectional Multirate Reconstruction for Temporal Modeling in Videos (CVPR2017)
http://www.yugangjiang.info/publication/16MM-VideoFusion.pdf (ACM MM 2016)
 

目前我只能共享pdf的版本，您可以在百度网盘下载。链接: https://pan.baidu.com/s/1I6vfGhrCee4WpBaYjh9Qtg 提取码: vt6h