GNN论文笔记： Graph Neural Networks with convolutional ARMA filters

Posted 2021-10-31 UQI-LIUWJ

0 摘要

        流行的图神经网络基于多项式谱滤波器实现图的卷积运算。

        在本文中，我们提出了一种新的图卷积层，其灵感来自自回归移动平均(ARMA)滤波器.

        与多项式滤波器相比，它提供了更灵活的频率响应，更鲁棒的噪声，并更好地捕捉全局图结构。

        我们提出了一种用递归和分布式公式实现ARMA滤波器的图神经网络，获得了一个有效训练的卷积层，该卷积层位于节点空间，并可以在测试时转移到新的图中。

        我们进行频谱分析，研究提出的ARMA层的滤波效果，并报告了四个下游任务的实验:半监督节点分类、图信号分类、图分类和图回归。

        结果表明，本文提出的ARMA层比基于多项式滤波器的图神经网络有显著的改进。

1 introduction

        图神经网络(gnn)是一类介于深度学习和结构化数据方法之间的模型，它通过计算离散对象(节点)之间的任意关系(边)，对离散对象(节点)进行推理。

        GNN结合图上本地邻域的节点特征来学习。这可以直接映射到分类标签或实值的节点表示，或组合生成图进行图嵌入，来进行图分类和回归

        这项工作的重点是，用gnn实现图在谱域上的卷积，这是通过非线性可训练滤波器来完成的。

        这种过滤器有选择地缩小或放大图信号的傅里叶系数(这可以看成节点特征的一个实例)，然后将节点特征映射到一个新的空间。

        为了避免时间和空间都很昂贵的图频谱域分解和图频谱域投影，最近几年的gnn将图滤波器实现为低阶多项式，直接在节点域学习。

        多项式滤波器具有有限的脉冲响应，并在局部节点邻域上对图信号进行加权移动平均滤波，允许基于切比雪夫多项式的快速分布式实现。

        多项式滤波器具有有限的建模能力，由于其平滑性，不能对频率响应的急剧变化进行建模。

        至关重要的是，高阶多项式是到达高阶邻域所必需的，但它们往往在计算上更昂贵，以及最重要的是，它们会过度拟合训练数据，使模型对图信号或底层图结构的变化敏感。

         更通用的一类滤波器是自回归移动平均滤波器(ARMA)家族，它提供了更多的频率响应，与具有相同数量参数的多项式滤波器相比，它可以解释更高阶的邻域。

         在本文中，我们受到多项式滤波器的启发，解决了现有图卷积层的局限性，提出了一种新的基于ARMA滤波器的GNN卷积层。

        我们的ARMA层实现了一个非线性和可训练的图滤波器，它基于多项式滤波器泛化卷积层，并通过灵活的滤波器频率响应设计，为GNN提供了增强的建模能力。

        ARMA层以较少的参数捕获全局图结构，克服了基于高阶多项式滤波器的gnn的局限性。

        ARMA滤波器不局限于节点空间，需要进行矩阵反演，这在gnn环境中是非常棘手的。

        为了解决这个问题，本篇论文提出的ARMA层依赖于递归公式，这导致了可以利用张量上的高效稀疏操作，来快速和分布式的实现之。

        得到的滤波器不是在由给定拉普拉斯算子导出的傅里叶空间中学习的，而是在节点空间中，并且独立于底层图结构。

        这使得GNN能够在归纳推理任务的测试阶段处理具有不可见拓扑的图。

 2 背景知识

2.1 graph spectral filtering