每日一读PASS：Performance-Adaptive Sampling Strategy Towards Fast and Accurate Graph Neural Networks

Posted 2022-09-27 海轰Pro

目录

• 简介
• 论文简介
• ABSTRACT
• 1 INTRODUCTION
• 2 PRELIMINARIES
• 3 RELATED WORK
• 7 CONCLUSION
• 读后总结
• 结语

简介

Hello！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
唯有努力💪
 
【每日一读】每天浅读一篇论文，了解专业前沿知识，培养阅读习惯（阅读记录 仅供参考）

论文简介

原文链接：https://dl.acm.org/doi/10.1145/3447548.3467284

会议：KDD '21: Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining （CCF A类）

年度：2021年8月14日

ABSTRACT

使图卷积网络（GCN）适应大规模图的主要挑战是由于聚合阶段不可控的邻域扩展导致的可扩展性问题

已经提出了几种采样算法来限制邻域扩展

然而，这些算法专注于最小化采样方差以近似原始聚合

这导致了两个关键问题：

• 1）准确性低，因为采样策略与目标任务的性能无关
• 2）易受噪声或图上的对抗性攻击的影响

在本文中，我们提出了一种性能自适应采样策略 PASS，它对目标任务的邻居信息进行采样

• PASS 直接针对任务性能进行优化，而不是方差减少
• PASS 通过 GCN 和不可微采样操作传播任务性能损失的梯度来训练采样策略

我们剖析了反向传播过程并分析了 PASS 如何从梯度中学习哪些邻居是信息丰富的并分配了高采样概率

在我们广泛的实验中，PASS 在公共基准测试中的准确率比最先进的采样方法高出 10%，在存在对抗性攻击的情况下准确率最高可达 53%

1 INTRODUCTION

图卷积网络 (GCN) [12] 作为一种强大的深度学习工具，用于图数据的表示学习 [2, 19]，已经引起了相当大的关注

例如

• GCN 在节点分类 [5]、链接预测 [16] 和图属性预测任务 [7] 上展示了最先进的性能
• 在卷积神经网络的推动下，GCN 聚合来自节点邻居的信息，类似于卷积过滤器如何处理文本或图像数据 [9, 13]

---

使 GCNs 适应大规模图的主要挑战是 GCNs 在聚合操作中递归地扩展邻居，导致高计算和内存占用

例如

• 给定一个平均度数为 d 的图，L 层 GCN 平均每个节点访问 dL 个邻居
• 如果图很密集或有很多高度节点，GCN 需要为大多数训练/测试示例聚合大量邻居
• 缓解这种邻居爆炸问题的唯一方法是在聚合操作中对固定数量的邻居进行采样，从而调节计算时间和内存使用[8]

大多数采样器最小化采样的方差以近似整个邻域的原始聚合 [4, 10, 14, 23]，这些采样策略学习有助于减少方差的邻居，而不是为目标任务的性能提供信息的邻居

因此，这些面向方差减少的采样器存在两个关键问题：

• 1）精度低，因为采样策略与性能无关
• 2）由于采样策略无法区分相关邻居和无关邻居，因此易受噪声或对抗性攻击的影响来自敌对添加的假邻居的真正邻居或真正邻居

---

那么 GCN 的最佳采样策略是什么？

为了回答这个问题，我们回到聚合操作的动机

在 GCN 中，假设邻居对目标任务提供信息，每个节点都会聚合其邻居的嵌入

我们将此动机扩展到为目标任务提供信息的采样策略和采样邻居

换句话说，我们的目标是最大化目标任务的性能而不是最小化采样方差的采样器

---

在这里，我们提出了 PASS，这是一种性能自适应采样策略，可以直接针对任务性能优化采样策略

• PASS 基于通过 GCN 的性能损失梯度训练采样策略
• 为了从 GCN 接收梯度，我们需要将它们通过采样操作，这是不可微的
• 为了解决这个问题，PASS 借用了强化学习社区中常用的对数导数技巧来训练随机策略 [15、20]。
• PASS 与 GCN 联合优化采样策略，以最小化任务性能损失，从而带来可观的性能提升。

---

图注意网络 (GAT) [21] 具有相同的学习邻居重要性的目标

• 他们通过通过性能损失的反向传播梯度训练的注意力机制来选择邻居
• 该机制最初被设计为不可微分硬选择（即采样）操作的连续逼近 [1, 21]

然而，GAT 面临与 GCN 相同的可扩展性问题

由于在大规模图中采样是不可避免的，我们将信息邻居选择直接嵌入到采样器中，而不是使用注意力机制在下游进行近似

在我们的实验中，我们展示了 PASS 如何不仅缓解了 GAT 的可扩展性问题，而且还展示了更高的性能

---

与以前的基于采样的方法相比，PASS 的另一个优势是我们提供了关于如何更新采样策略以优化任务性能的理论基础

当其他采样器将反向传播算法作为黑盒来学习采样策略时，PASS 将其破解

我们提出了一个透明的推理过程，关于 PASS 如何从反向传播的梯度中学习邻居是否提供信息，以及为什么它为邻居分配一定的采样概率

---

通过对七个公共基准和一个 LinkedIn 生产数据集的广泛实验，我们证明了 PASS 优于现有采样算法的性能

我们还展示了各种案例研究，检查 PASSon 真实数据集的有效性（图 1）。我们的主要贡献是：

• 性能自适应性：PASS 学习了一种采样策略，该策略对邻居进行采样以提供任务性能的信息。
• 有效性：PASS 优于最先进的采样器，准确率提高 10.4%。
• 鲁棒性：在存在对抗性攻击的情况下，PASS 的准确度比基线高 53.1%
• 理论基础：PASS 提供了一个关于它如何了解邻居是否提供信息的透明推理过程。

2 PRELIMINARIES

3 RELATED WORK

GCN 的采样算法大致分为两类：

• 逐节点采样
• 逐层采样

---

节点采样

采样分布 $q(j|i)$ 定义为给定源节点 $v_i$ 时采样节点 $v_j$ 的概率

在逐节点采样中，每个节点从其采样分布中采样 $k$ 个邻居，那么第 $l$ 层的节点总数变为 $O(k^l)$

• GraphSage [8] 是最著名的节点采样方法之一，具有均匀的采样分布 $q(j|i)=\frac{1}{N(i)}$
• GCN-BS [14] 引入了一种基于多臂老虎机的方差减少采样器。 GCN-BS 为每条边定义了一个单独的采样概率 $q(j|i)$ 并训练它们以达到最小采样方差

逐层采样

为了减轻逐层采样器的指数邻居扩展 $O(k^l)$，逐层采样器将采样分布 $q(j|i_1,\cdot \cdot \cdot \cdot ,i_n)$ 定义为给定一组节点 ${v_k}_{k=i_i}^{i_n}$

每层从其采样分布$q(j|i_1,\cdot \cdot \cdot \cdot ,i_n)$中采样k个邻居，则每层的采样节点数变为$O(k)$

• FastGCN [4] 定义了与目标节点 $v_j$ 的度成正比的 $q(j|i_1,\cdot \cdot \cdot \cdot ,i_n)$，因此每一层都有独立相同的分布
• LADIES [23] 采用与 FastGCN 相同的 iid，但将采样域限制在采样器层的附近
• AS-GCN [10] 使用可学习的线性函数参数化采样分布 $q(j|i_1,\cdot \cdot \cdot \cdot ,i_n)$

虽然逐层采样器成功地调节了邻居扩展，但它们遇到了稀疏连接问题：一些节点无法对任何邻居进行采样，而其他节点在给定层中重复对其邻居进行采样

可学习的抽样政策

GraphSage [8]、FastGCN [4] 和 LADIES [23] 使用启发式采样概率分布（例如，与节点度成正比）

GCN-BS [14] 和 AS-GCN [10] 将它们的采样分布训练为最小采样方差。他们从理论上计算具有最小方差的最优抽样概率模型，然后将抽样模型更新为最优方差。

我们提出的 PASS 是一个可学习的节点采样器

表 2 将 PASS 与现有的抽样方法进行了比较

7 CONCLUSION

在本文中，我们提出了一种用于图卷积网络的新型采样算法 PASS。我们的主要贡献是：

• 性能自适应采样器：PASS 对邻居进行采样，为任务性能提供信息。
• 有效性：PASS 优于最先进的采样器，准确率提高 10.4%。
• 鲁棒性：在存在对抗性攻击的情况下，PASS 的准确度比基线高 53.1%。
• 理论基础：PASS 解释了为什么邻居被认为是信息丰富的并被分配了高采样概率。

未来的工作包括学习边插补策略并将其与我们提出的边采样策略相结合，以提高图神经网络的整体性能。

读后总结

mark一下！（后续需要再细读，先理解个大概）

Note

• GCN面临的一个问题：聚合时，当邻域节点过多（需要考虑更好的采样策略，针对目标，不能一概而论）
• 优化方法应该与目标任务挂钩，为目标任务进行优化（对不同的任务有不同的策略）

结语

文章仅作为个人学习笔记记录，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正