论文速递CVPR2021 - 基于自适应原型学习和分配的小样本分割

Posted 2023-01-26

【论文速递】CVPR2021 - 基于自适应原型学习和分配的小样本分割

【论文原文】：Adaptive Prototype Learning and Allocation for Few-Shot Segmentation

获取地址：https://openaccess.thecvf.com/content/CVPR2021/papers/Li_Adaptive_Prototype_Learning_and_Allocation_for_Few-Shot_Segmentation_CVPR_2021_paper.pdf

博主关键词： 小样本学习，语义分割，自适应，原型学习

推荐相关论文：

【论文速递】TPAMI2022 - 小样本分割的整体原型激活
-

摘要：

原型学习被广泛应用于小样本分割。通常，通过平均全局对象信息从支持特征中获得单个原型。但是，使用一个原型来表示所有信息可能会导致歧义。本文提出了超像素引导聚类(SGC)和引导原型分配(GPA)两个新模块，用于多原型抽取和分配。 具体来说，SGC是一种不需要参数和训练的方法，通过聚合相似的特征向量来提取更有代表性的原型，而GPA能够选择匹配的原型来提供更准确的指导。通过将SGC和GPA集成在一起，我们提出了自适应超像素引导网络(ASGNet)，这是一种轻量级模型，可以适应物体的大小和形状变化。此外，我们的网络可以很容易地推广到k-shot分割，有很大的改进，没有额外的计算成本。特别是，我们对COCO的评估表明，ASGNet在5-shot分割中超过了最先进的方法5%。

简介：

人类有一种非凡的能力，可以在看到少量的样本后学习如何识别新物体。另一方面，基于深度学习的计算机视觉系统已经取得了巨大的进步，但在很大程度上依赖于大规模的训练集。此外，深度网络主要使用预定义的类，无法泛化到新的类。few-shot学习领域研究人工学习系统中这种学习能力的发展，其中只有少数新类别的例子可用。

在这项工作中，我们解决了few-shot分割问题，其中目的是学习在给定的查询图像中分割对象，而只有少数具有真实分割掩码的支持图像可用。这是一个具有挑战性的问题，因为测试数据是训练集中不存在的新类别，支持图像和查询图像之间通常在外观和形状上有很大的变化。

目前的小样本分割网络通常从查询图像和支持图像中提取特征，然后提出不同的特征匹配和对象掩码从支持图像到查询图像的转换方法。这种特征匹配和掩码迁移通常以两种方式之一进行:原型特征学习或亲和度学习。 原型学习技术将支持图像中的被掩盖对象特征压缩为单个或几个原型特征向量。然后，这些技术在查询图像中找到相似特征的像素位置，分割出所需的对象。原型学习的一个关键优势是原型特征比像素特征对噪声的鲁棒性更强。然而，原型特征不可避免地会丢失空间信息，当支持图像和查询图像之间的对象外观有很大变化时，这是很重要的。 此外，大多数原型学习网络[40,42,32,29,4]仅通过掩膜平均池化生成单个原型，如图1(a)所示，从而丢失信息和可分辨性。

而亲和学习技术[39,36,31]则直接尝试匹配支持图像中的对象像素来查询图像像素，从而传递对象掩码。这些技术使用学习的特征来预测交叉图像像素的亲和力(也称为连接强度)，在执行特征匹配的同时，比原型学习方法更好地保存空间信息。 然而，亲和学习技术在尝试用密集亲和矩阵解决约束不足的像素匹配问题时，容易对训练数据进行过拟合。

在这项工作中，我们提出了一种新的原型学习技术，解决了现有技术的一些主要缺点。特别是，我们希望根据图像内容自适应地改变原型的数量及其空间范围，使原型具有内容自适应和空间感知能力。这种自适应的多原型策略对于处理不同图像中物体大小和形状的巨大变化非常重要。 直观地说，当一个物体占据了图像的很大一部分时，它携带了更多的信息，因此需要更多的原型来表示所有必要的信息。相反，如果物体相当小，背景的比例很大，那么一个或几个原型就足够了。此外，我们希望每个原型的支持区域(空间范围)能够适应支持图像中存在的对象信息。具体来说，我们的目标是根据特征相似度将支持特征划分为几个具有代表性的区域。我们还希望在查询图像中寻找相似特征的同时，自适应地选择更重要的原型。由于不同的对象部分在不同的图像区域和不同的查询图像中可见，我们希望在查询图像之间动态分配不同的原型进行特征匹配。例如，对象的某些部分可以在查询图像中被遮挡，我们希望动态地选择与查询图像中可见部分对应的原型。

我们通过自适应超像素引导网络(ASGNet)实现了这种自适应的多原型学习和分配，该网络利用超像素来适应原型的数量和支持区域。 原理图如图1(b)所示。特别地，我们提出了两个模块，超像素引导聚类(SGC)和引导原型分配(GPA)，它们构成了ASGNet的核心。SGC模块对支持图像进行基于特征的快速超像素提取，得到的超像素质心被视为原型特征。由于超像素形状和数字对图像内容是自适应的，因此产生的原型也具有自适应性。GPA模块使用一种类似注意的机制，将最相关的支持原型特征分配给查询图像中的每个像素。综上所述，SGC模块在原型数量和它们的空间范围方面提供了自适应原型学习，而GPA模块在处理查询特征时提供了对所学习的原型的自适应分配。 这两个模块使ASGNet具有高度的灵活性和对不同对象形状和大小的自适应能力，使其能够更好地泛化到未见过的对象类别。我们作出以下贡献:

• 我们提出了自适应超像素引导网络(ASGNet)，这是一种灵活的原型学习方法，用于小样本分割，可适应不同的物体尺度、形状和遮挡。
• 我们引入了两个新模块，即超像素引导聚类(SGC)和引导原型分配(GPA)，分别用于自适应原型提取和分配。它们可以作为功能匹配的有效的即插即用组件。
• ASGNet以更少的参数和更少的计算实现最佳性能的结果。具体而言，本文方法在Pascal-5 i /COCO-20i上5-shot设置下miou值为64.36%/42.48%，比目前最先进的方法高出2.40%/5.08%。