关于最近邻的噪声标签建模论文简读

Posted 2022-02-25 舞动的心

 

目录

1 S3: Supervised Self-supervised Learning under Label Noise (ICLR 2022 reject) 

2 PI-GNN: Towards Robust Graph Neural Networks against Label Noise (ICLR 2022 reject)

3 Unifying Graph Convolutional Neural Networks and Label Propagation (ICLR 2021 reject) 

4 Unified Robust Training for Graph Neural Networks against Label Noise (arXiv 2021)

5 NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily (KDD 2021)

 

---

1 S3: Supervised Self-supervised Learning under Label Noise (ICLR 2022 reject)

论文链接

代码：暂无

尽管神经网络的监督学习取得了很大的进展，但在获取高质量、大规模和准确标记的数据集方面仍存在重大挑战。在这种背景下，本文讨论了在标签噪声存在的情况下的分类问题，更具体地说，在关闭集和开集标签噪声存在的情况下，即一个样本的真标签可能属于，也可能不属于给定标签的集合的问题。

针对图像领域存在的闭集和开集标签噪声的问题，提出了一种监督(Supervised)-自监督(Self-Supervised)的S3方法用于噪声标签问题建模.

具体步骤：

①        基于样本最近邻（余弦相似度）投票，选取可信度高的样本进行分类训练（未用到标签传播）

②        由于最近邻选取的置信度高的样本会引入自我确认偏差，采用分类器的预测结果进行样本重标注

③        采用MixUp机制进行数据增强，并通过增强后负样本的余弦相似度进行自监督学习

简单地总结：

①        样本选择（KNN）和重标注（分类器，用到了小Loss）

②        监督分类和无监督余弦相似度一致性学习

 

模型框架图如下：

 

审稿意见：

（1）创新性不足，都是已有噪声标签建模工作中策略的整合。此外，实验部分并没有对最近邻投票、分类器样本重标注以及无监督学习的创新点进行印证和分析

（2）核心创新点没有分析清楚，在实验部分也未得到印证，难以让评委信服

 

---

2 PI-GNN: Towards Robust Graph Neural Networks against Label Noise (ICLR 2022 reject)

论文链接

代码：暂无

半监督节点分类是图学习中的一个基本问题，它利用未标记节点和一小部分标记节点进行训练。现有的方法严重依赖于高质量的标签，然而，在现实世界的应用中，获得高质量的标签是昂贵的，因为在标签过程中不可避免地涉及到某些噪声。因此，如何使学习算法具有良好的泛化性是一个不可避免的挑战。

基于相邻两个节点大概率是同一类的直觉假设，提出了一种基于图神经网络的pairwise interactions（PI，成对交互）的标签纠正方法。

具体地：

①   与传统的鲁棒训练方法不同的是，PI明确地迫使持有正PI标签的节点对的嵌入彼此接近，这可以应用于标记和未标记的节点。

②   此外，设计了几个基于图结构和节点类标签的PI标签实例，并进一步提出了一种新的不确定性感知训练技术来缓解次优PI标签的负面影响。

简单地总结：

本文采用GNN的标签传播思想来做标签纠正，并且增加了一个点对之间的损失函数，具体地表现为：同类点之间靠近，不同类点之间远离。

模型框架图：

 

 

---

3 Unifying Graph Convolutional Neural Networks and Label Propagation (ICLR 2021 reject)

论文链接

代码：暂无

大量的标注数据被用于深度神经网络的训练，因此标注噪声成为其中的一个重要问题。虽然近年来噪声标签学习在图像数据集上取得了很大的进展，但关于利用GNN对图节点进行分类的研究还没有开展。

基于图结构数据的特殊属性：图中相邻节点往往具有相同的标签的直接假设：

具体地：

①        标签传播。基于两个相邻连接节点具有相同标签的标签平滑性，从而将邻居节点标签进行加权平均并与该节点的真标签进行对比分析，从而得到一个新标签。

②        基于标签聚合的元学习。类似MixUp的机制，将传播后的伪标签和给定的标签进行加权聚合得到新的标签。

模型框架图：

 

 

---

4 Unified Robust Training for Graph Neural Networks against Label Noise (arXiv 2021)

论文链接

代码：暂无

图神经网络(gnn)在图的节点分类方面已经达到了最先进的性能。现有的绝大多数作品都假设为训练总是提供真正的节点标签。然而，如何在有标签噪声的情况下提高gnn的鲁棒性的研究还很少。

然而图学习的建模面临标签稀疏性和标签依赖的两个问题：

(1）标签稀疏性: 节点相互连接的图结构数据比单个图像更难以进行数据标注。通常，图是稀疏标记的，只有一小部分标记节点用于训练。因此，我们不能像之前使用“小损失技巧”的方法那样，简单地删除带有损坏标签的“坏节点”。

(2) 标签依赖: 图节点数据表现出很强的标签依赖，因此结构接近度高(直接或间接连接)的节点往往具有相似的标签。这就迫切需要在训练抗标签噪声的鲁棒模型时充分利用图拓扑和稀疏节点标签。

本文提出了一种采用标签聚合策略的样本重加权和标签纠正的方法，具体分为：

1）标签聚合：具体来说，我们执行随机漫步来收集具有更高阶接近度的上下文节点。然后，采用上述策略选取的节点，组成一个支持集。

2）样本加权：我们根据每个节点所给定标签的可靠性，设计了一个重新加权的方案，使得在梯度更新过程中，可靠标签的丢失可以起到更大的作用。

3）标签纠正：在含标签数据训练有限的情况下，我们还通过纠正有噪声的标签来增加标记节点的集合。

模型框架图：

 

 

---

5 NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily Labeled Graphs (KDD 2021)

论文链接

代码

图神经网络(GNN)已经在图的半监督学习任务中取得了很好的结果，例如节点分类。尽管GNN取得了巨大的成功，但现实世界中的许多图往往是稀疏且带噪声的标记，这可能会严重降低GNN的性能，因为噪声信息会通过图结构传播到无标记的节点。因此，开发一种抗标签噪声的GNN对半监督节点分类具有重要意义。

   为了减轻标签噪声的负面影响，我们提出将无标签节点与特征相似度高的有标签节点连接，以带来更多干净的标签信息。此外，该策略可以获得准确的伪标签，提供更多的监督，进一步降低标签噪声的影响。

  本文中，我们研究了在稀疏和带噪声标记的图上学习抗噪声GNN的一个新问题。从本质上讲，我们面临两个挑战:

(1) 如何有效地将无标记节点与有标记节点连接起来，以缓解标记噪声的影响，有利于预测?

(2) 对于标签有噪声和限制的图，如何获得准确的伪标签?

 

模型框架图：

 

 

 

 

 

 

每天一小步，成就一大步