GCN过平滑问题

Posted 2022-08-02 周先森爱吃素

简介

尽管GCN为图数据的学习带来了一种全新的方式，然而Li Q等人在Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning中、Xu K等人在Representation Learning on Graphs with Jumping Knowledge Networks中都明确指出了GCN模型无法像视觉任务中的CNN模型一样深度堆叠，一旦使用多层GCN，相关任务的效果会急剧下降，这使得某些任务中，GCN的能力非常有限。

实验测试

我在上次的节点分类任务基础上，不断增加GCN，实验结果如下图所示（从左至右、从上至下GCN层数逐渐增加）。可以看到，2-3层的GCN区分效果最好，5-6层的GCN，7种节点已经逐渐混合在一起，很难区分了。

上面这个例子，可以发现，在使用多层GCN之后，节点的区分性越来越差，节点的表示向量趋于一致，这就使得以GCN为基础的后续学习任务难以进行。这个现象称为多层GCN的过平滑（Over-smooth）问题。

理论解释

众所周知，GCN可以看作是一个低通滤波器（具体论证见Revisiting Graph Neural Networks: All We Have is Low-Pass Filters这篇文章），这种特性会造成信号变得更加平滑，这是GCN的内在优势，然而，过犹不及，多次进行这种信号平滑操作会使得信号趋于一致，这就丧失了节点特征的多样性。过平滑问题的理解可以从频域和空域两个角度出发，下面分别展开。

频域角度

从GCN的频率响应函数$p(\lambda )=1-{\tilde{\lambda }}_i$中能看得明白些。

$$\begin{array}{rl}\underset{k\to +\infty }{\lim }{\tilde{L}}_{\mathrm{s}\mathrm{y}\mathrm{m}}^k& =\underset{k\to +\infty }{\lim }{\left(I-{\tilde{L}}_s\right)}^k\\ & =\underset{k\to +\infty }{\lim }{\left(V(1-\tilde{\Lambda })V^{\mathrm{T}}\right)}^k\\ & =\underset{k\to +\infty }{\lim }V\left[\begin{array}{lllc}{\left(1-{\tilde{\lambda }}_1\right)}^k& & & \\ & {\left(1-{\tilde{\lambda }}_2\right)}^k& & \\ & & \ddots & \\ & & & {\left(1-{\tilde{\lambda }}_N\right)}^k\end{array}\right]V^T\end{array}$$

由于$\left(1-{\tilde{\lambda }}_i\right)\in (-1,1]$，当且仅当$i=1$时，$1-{\tilde{\lambda }}_1=1$，，由于其他的特征值都大于0（假设全连通图，仅存在一个特征值为0），因此上式取极限之后的结果如下式。

$$\underset{k\to +\infty }{\lim }{\tilde{L}}_{\text{sym }}^k=V\left[\begin{array}{llll}1& & & \\ & 0& & \\ & & \ddots & \\ & & & 0\end{array}\right]V^{\mathrm{T}}$$

若设图信号为$\mathbf{x}$，则有下面的结果，其中${\mathbf{v}}_1$是${\tilde{L}}_s$的最小频率${\tilde{\lambda }}_1=0$对应的特征向量，${\tilde{x}}_1$表示信号$\mathbf{x}$在对应频率${\tilde{\lambda }}_1$的傅里叶系数。

$$\underset{k\to +\infty }{\lim }\tilde{L}$$

图像空域活动性测度

MATLAB-图像锐化(空域与频域)

MATLAB-图像锐化(空域与频域)

MATLAB-图像锐化(空域与频域)

MATLAB-图像锐化(空域与频域)

图神经网络的“前世今生”