Oriented RepPoints for Aerial Object Detection的译读笔记

Posted 2022-12-16 songyuc

Oriented RepPoints for Aerial Object Detection

摘要

  与通用目标不同，航空目标通常不是正轴对齐而且具有任意的方向，且周围背景较为杂乱。与主流方法使用边界框方向回归，本文针对航空目标检测，提出一种高效的自适应点学习的方法，能够利用自适应点表征来捕获任意朝向实例的几何信息。为此，本文提出了三种方向转换函数，以增强方向准确的分类和定位。此外，本文提出一种高效的质量评估和样本分类方法用于自适应点学习，用于在训练期间选择具有代表性的 oriented reppoints samples ，从而能够从邻近目标或背景噪声中捕获非轴对齐的特征。本文还引入了一种空间约束来惩罚离群点，以实现鲁棒的自适应学习。实验使用了四个具有挑战性的航空数据集，包括DOTA、HRSC、UCAS-AOD和DIOR-R，展现了本文方法的有效性。源代码位于https://github.com/LiWentomng/OrientedRepPoints。

1. 引言

  作为一项重要的计算机视觉任务[4_DOTA&ODAI, 34_DOTA, 37_ClusDet]，航空目标检测最近引起了越来越多的关注，该任务在遥感图像理解中发挥着重要的作用。不同于通用目标检测，航空目标定位会有其独特的难点，包括具有任意方向的非轴对齐目标[3_RoITransformer, 9_ReDet, 24_DRN]
以及具有复杂上下文的密集紧凑分布[7_CFA, 37_ClusDet], 45_SCRDet]。
  主流方法通常将航空目标检测是做旋转目标定位[3_RoITransformer, 8_S2ANet, 9_ReDet, 24_DRN, 42_R3Det, 45_SCRDet]的问题。在这些工作中，基于直接回归角度的方法在该领域中占据了主导，这些方法源自常见的目标检测器[18_FPN, 19_RetinaNet, 28_FasterRCNN, 53_CenterNet]，并带有额外的方向参数。尽管取得了较好的性能，直接方向预测仍然存在一些问题，例如损失的不连续性和回归的不一致性[25_RSDet, 40_DCL, 41_CSL, 43_GWD]
。这主要由角度方向的有界周期性质和旋转边界框的方向定义引起的。尽管这些定位结果看起来不错，但基于方向回归的检测器可能会无法准确地预测方向，如图1-(a)所示。

  为了有效地解决上述问题，本文重新审视了航空目标的表示，来避免较为敏感的方向估计。Point set作为一种细粒度的目标表示，在传统的通用检测器（例如RepPoints[46_RepPoints]）中，展示出捕获关键语义特征的巨大潜力。然而，去简单的转换函数金能产生 upright-horizontal 的边界框，而不能精确地估计航空目标的朝向。此外，RepPoints仅通过予以特征回归了关键点而忽视了对学习的关键点质量的有效评估。对于航拍图像中分布密集和背景复杂的非轴对齐的目标，这可能会导致较差的性能。
  本文提出了针对航拍图像提出了一种旋转目标检测模型，称为OrientedRepPoints，此方法引入了对多样的角度、形状和姿态的自适应点表示。与传统的方向回归方法相比，本文的方法不仅是实现了具有准确方向的精确航空检测，而且还捕获了任意方向目标实例的底层几何结构，如图1所示。具体来说，初始的适应点是从中心点产生的，之后在进一步细化来适应航拍目标。为了获得带有方向的边界框，本文根据所学习关键点的布局提出了三种方向转换函数。此外，本文提出一种有效的自适应点分配和评估（adaptive points assessment and assignment, APAA）方法来进行点集学习，该方法可以在训练时从分类定位以及 oriented reppoints 方向和点特征相关性两方面来衡量它们的质量。此方法使检测器能够从相邻目标或背景噪声中捕获轴向无关的特征，以分配代表性的 oriented reppoints 样本。此外，本文还提出一种空间约束，来增强航脆弱点在航空场景中找到其实例归属的能力。与其它基于方向回归的方法相比，本文的框架通过精准预测方向，获得了更加准确的性能。
  综上所述，本文的主要贡献是：（1）提出一种名为OrientedRepPoints有效的航空目标检测模型，其中引入了灵活的自适应点作为实现旋转目标检测的表示方法；（2）提出一种新颖的自适应点学习的质量评估和样本分配方法，该方法在选取点样本综合考虑了分类定位以及方向和点特征的相关性；（3）在四个挑战性数据集上的实验展示出富有成效的定性和定量结果。

2. 相关工作

  不同于通用目标检测器使用水平边界框，航拍图像的目标常常是任意朝向并且密集分布的。本文将在后续章节讨论相关的工作。

2.1 旋转目标检测

  近期的航空目标检测方法主要是源于经典的目标检测器，并引入了方向回归的任务。SCRDet[45_SCRDet]、CADNet[47_CADNet]、DRN[24_DRN]、R3Det[42_R3Det]、ReDet[9_ReDet]和OrientedRCNN[35_OrientedRCNN]这些方法都通过预测边界框的旋转角度来获得显著的性能。GlidingVertex[36_GlidingVertex]和RSDet[25_RSDet]通过回归四边形来提升检测结果。为了解决基于角度的方向估计中边界不连续性的问题，Yang等人[41_CSL]将角度回归转换为角度分类任务[40_DCL]。之后，Yang等人将旋转边界框的参数化转化到2D高斯分布中，从而使得旋转目标检测获得了更加稳健（robust）的结果。这些方法致力于使用旋转角度表示来改进方向估计。本文从另一个视角引入了一种更加高效的基于自适应点的表示方法。

2.2 轴向无关的特征学习

  大多数经典的目标检测方法[26_YOLOv1, 28_FasterRCNN, 30_FCOS, 46_RepPoints, 48_APD, 49_FAN, 53_CenterNet]是面向直立或轴向对齐的目标，于是难以用于复杂背景中密集分布的非轴向对齐的目标。为了解决这个问题，Ding等人[3_RoITransformer]对轴向对齐的RoIs进行空间变换，并在旋转边界框监督下学习轴向无关的表征。SCRDet++[44_SCRDet++]增强了轴向无关的特征并且在训练网络中带来了更高的目标响应。Han等人[8_]设计了一种特征对齐模块，以减轻轴向对齐卷积特征和任意方向目标之间的错位。DRN[24_DRN]提出一种特征选择模块，来聚合从不同大小卷积核、形状和方向中获得的轴向对齐信息，并使用动态filter生成器来进一步回归。Guo等人[7_CFA]采用凸包表示来学习不规则的形状和排布，通过可学习的特征自适应来避免特征混叠。本文提出的基于点集的方法是对非轴向对齐的航拍目标来提取关键特征。

2.3 目标检测的样本分配策略

  许多检测方法使用了简单的方式来设置选择正样本的IoU阈值。