论文速递CVPR2022 - 相似外观和多样化运动中的多目标跟踪

Posted 2023-03-01 N0thing2say

【论文速递】CVPR2022 - DanceTrack：相似外观和多样化运动中的多目标跟踪

【论文原文】：DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion

【作者信息】：Peize Sun∗, Jinkun Cao∗, Yi Jiang, Zehuan Yuan, Song Bai, Kris Kitani, Ping Luo

获取地址：https://arxiv.org/abs/2111.14690
code：https://github.com/DanceTrack/DanceTrack

博主关键词： 多目标跟踪，数据集

推荐相关论文：

【论文速递】ECCV2022 - ByteTrack：通过关联每个检测盒来进行多对象跟踪
- https://blog.csdn.net/Never_moresf/article/details/128719534

摘要：

多目标跟踪（MOT）的一个典型流程是使用检测器进行目标定位，然后使用re-ID进行目标关联。这个流程的部分动机是由于最近在目标检测和re-ID方面的进展，部分动机是由于现有跟踪数据集的偏差，其中大多数目标倾向于有区别的外观，而re-ID模型足以建立关联。为了应对这种偏差，我们想再次强调的是，当目标外观不能足够区分时，多目标跟踪的方法也应该起作用。为此，我们提出了一个用于多人类跟踪的大规模数据集，其中人类有相似的外观，不同的运动和极端的相互遮挡。由于该数据集主要包含团体舞蹈视频，我们将其命名为“DanceTrack”。我们希望DanceTrack能提供一个更好的平台来开发更多的MOT算法，更少地依赖于视觉辨别，更多地依赖于运动分析。我们在数据集上对几个最先进的跟踪器进行基准测试，与现有基准测试相比，DanceTrack上的性能显著下降。数据集、项目代码和竞赛都发布在： https://github.com/DanceTrack上。

关键词 多目标跟踪，数据集

简介：

目标跟踪的研究时间广泛，并且可以应用于自动驾驶、视频分析和机器人规划[1,4,27,37]等应用。多目标跟踪的目标是随着时间来定位和关联感兴趣的对象。有趣的是，我们观察到，多目标跟踪的最新发展在很大程度上依赖于检测+reid的范式，其中大多数是依靠外观线索来关联对象。这种算法开发的趋势使得现有的解决方案在物体外观非常相似的情况下灾难性地失败，例如，表演者穿着制服的集体舞。它激励我们提出更全面的解决方案，通过采取其他线索到建模，如物体运动模式和时序动态。
与计算机视觉的许多其他领域一样，多目标跟踪的发展也受到基准数据集的影响。基于指定的数据集[11,15,24,38]，数据驱动的方法有时被认为偏向于某些数据分布。在这项工作中，我们认识到现有的多目标跟踪数据集的局限性在于，许多物体有不同的外观，物体的运动模式是非常规则的，甚至是线性的。受这些数据集属性的影响，最近开发的多对象跟踪方法[25,34,35,41]高度依赖外观匹配来关联检测到的对象，而很少考虑其他线索。主导范式在没有偏倚分布的情况下将会失败。如果我们的目标是建立更通用和更智能的跟踪算法，那么这种现象并不是我们所期望的那样。
为了为更全面的多目标跟踪研究提供一个新的平台，本文提出了一个新的数据集。因为它主要包含集体舞蹈视频，我们把它命名为“DanceTrack”。该数据集包含超过100K的图像帧（几乎比MOT17数据集[24]多10倍）。如图1所示，这个数据集的强调属性是(1)统一的外观：人们在视频中穿非常相似甚至相同的衣服，使他们的视觉特征难以区分(2)不同的运动：人们通常有非常大的运动和复杂的身体手势变化，这提出更高的要求运动建模。第二种特性也带来了遮挡和交叉的副作用，即人体彼此之间有很大的重叠比例，并且它们的相对位置交换频繁。

Fig. 1. Sample images from a video in DanceTrack: 1st, 66th, 307th and 327th frame in DanceTrack0027 video. The emphasized properties of this dataset are (1) uniform appearance: humans are in highly similar and almost undistinguished appearance. (2) diverse motion: they are in complicated motion and interaction pattern. The numbers below show their identifications which experience frequent relative position switches and occlusions. We expect the combination of uniform appearance and complicated motion pattern makes DanceTrack a platform to encourage more comprehensive and intelligent multi-object tracking algorithms..

利用所提出的数据集，我们建立了一个新的基准，包括现有的流行的多目标跟踪方法。结果证明，目前最先进的算法[25、29、35、39-42]在简单地使用外观匹配或线性运动模型来跨帧关联对象时，并不能取得令人满意的性能。考虑到这个数据集中在现实生活中经常发生的案例，我们认为它显示了现有的多目标跟踪算法在实际应用中的局限性。为了为进一步的研究提供潜在的指导，我们分析了一系列关联对象的选择，并得出了一些有益的结论： (1)对象的细粒度表示，如分割和姿态，表现出比粗边界框更好的能力；(2)深度信息对关联对象有积极的影响，尽管我们要解决的是二维跟踪任务；(3)时间动力学的运动建模很重要。

综上所述，我们的工作对目标跟踪社区的关键贡献如下：
1.我们建立了一个新的大规模多目标跟踪数据集，DanceTrack，跟踪涵盖了对象外观的低区分性和不同的非线性运动模式的场景。
2.我们在这个新构建的数据集上进行了基准测试，显示了现有的多目标跟踪算法的局限性。
3.我们提供全面的分析来发现更多的线索，最终开发多目标跟踪器，在复杂的现实情况下更健壮。

【论文速递 | 精选】

论坛地址：https://bbs.csdn.net/forums/paper