学习笔记 | 2023 AAAI 对抗性权值扰动改善图神经网络的泛化性能

Posted 2022-12-16 叶庭云

一、前言

对抗性权值扰动改善图神经网络的泛化性能。2022 ICLR Reject，2023 AAAI Accept。

论文地址：Adversarial Weight Perturbation Improves Generalization in Graph Neural Network

关键词：WT-AWP、Non-IID、鲁棒 GNN、泛化性

大量的理论和经验实证表明，更平坦的局部最小值倾向于提升泛化性（generalization）。对抗性权值扰动（Adversarial Weight Perturbation，AWP）是寻找此类 minima 一种高效且有效的新兴技术。在 AWP 中，最小化模型参数最坏情况的有界扰动相关的损失，从而有利于找到局部极小值，并且在其周围的邻域中损失很小。AWP 的好处，以及更一般的平坦性和泛化性（flatness and generalization）之间的联系，已经在 IID 数据上被广泛研究的，如 Images。这篇论文首次对图结构数据的这一现象进行了广泛研究，在此过程中，我们首先推导了 Non-IID 的一般化界限，节点分类任务。作者发现了一个所有现有的 AWP 公式相关的梯度消失问题，进而提出加权截断 AWP（WT-AWP）以缓解这一问题。结果表明，使用 WT-AWP 对图神经网络进行正则化，可以在许多不同的图学习任务和模型之间提高自然泛化和鲁棒泛化。

一个关键的基本问题是，深度神经网络模型具有许多不同的局部极小值，尽管在训练和验证数据上具有几乎相同的性能，但它们的泛