文献阅读13期：Deep Learning on Graphs: A Survey - 2

Posted 2022-11-29 RaZLeon

[ 文献阅读·综述 ] Deep Learning on Graphs: A Survey [1]

推荐理由：图神经网络的survey paper，在很多的领域展现出了独特的作用力，分别通过GRAPH RNN（图循环网络）、GCN（图卷积）、GRAPH AUTOENCODERS（图自编码器）、GRAPH REINFORCEMENT LEARNING（图强化学习模型）、GRAPH ADVERSARIAL METHODS（图对抗模型）等五个类型的模型进行阐述，可以让大家对图神经网络有一个整体的认识

4. 图卷积网络（Graph Convolutional Networks）

• 下表首先展现了一部分GCN的特性：
  
  可以看出，目前提出的图卷积网络还是非常丰富的。

4.1.卷积运算

• 卷积运算在CNNs中非常常见，但它并不能直接应用在图网络当中，因为图网络没有Grid结构。

4.1.1.谱方法

• 图拉普拉斯矩阵被引入，它的功能类似于信号处理中的傅里叶基，图的卷积操作$\ast G$，可以定义为如下形式：
  $${\mathbf{u}}_1{\ast }_G{\mathbf{u}}_2=\mathbf{Q}\left(\left({\mathbf{Q}}^T{\mathbf{u}}_1\right)\odot \left({\mathbf{Q}}^T{\mathbf{u}}_2\right)\right)\text{\hspace{1em}(5)}$$
  其中${\mathbf{u}}_1,{\mathbf{u}}_2\in {\mathbb{R}}^N$是两种定义在节点上的信号，$\mathrm{Q}$是$\mathrm{L}$的特征向量。
• 通过和${\mathbf{Q}}^T$相乘，即可将图信号${\mathbf{u}}_1,{\mathbf{u}}_2$转换到谱域当中。而与$\mathbf{Q}$相乘，则是实施逆运算。
• 通过转换后输出信号可以表示为：
  $${\mathbf{u}}^{\prime }=\mathbf{Q}\Theta {\mathbf{Q}}^T\mathbf{u}\text{\hspace{1em}(6)}$$
  其中，$\mathbf{\Theta }=\mathbf{\Theta }(\mathbf{\Lambda })\in {\mathbb{R}}^{N\times N}$是一个可训练filters的对角阵，$\mathbf{\Lambda }$是$\mathrm{L}$的特征值。
• 一个卷积层可以对不同的输入输出对施加不同的filters：
  $${\mathbf{u}}_j^{l+1}=\rho \left(\sum _{i=1}^{f_l}\mathbf{Q}{\Theta }_{i,j}^l{\mathbf{Q}}^T{\mathbf{u}}_i^l\right)j=1,\dots ,f_{l+1}\text{\hspace{1em}(7)}$$
• 一般而言，谱域中的filters并不会局限于空间领域，这就意味着在图卷积网络中，每个点有可能被其他所有店影响，而不是仅仅被一小片区域中的点影响。
• 为了解决这个问题，smoothing filters被引入：
  $$\mathrm{diag}\left({\Theta }_{i,j}^l\right)=\mathcal{K}{\alpha }_{l,i,j}\text{\hspace{1em}(8)}$$
  其中，$\mathcal{K}$是固定插值核，${\alpha }_{l,i,j}$是可训练插值系数。
• 然而，有两个根本性问题还未解决：
  1. 在每步计算的时候，拉普拉斯矩阵的全特征向量都是必须的，每一步前/反向传播所需要的时间复杂度至少是$O\left(N^2\right)$，对大规模图网络中，运算量极大
  2. 因为filter依赖图的特征基$\mathrm{Q}$，对于不同结构和尺寸的图来说，分享参数几乎是不可能的事情。

4.1.2.运算效率

• 为了解决效率问题，ChebNet被踢出，并且使用了多项式滤波器：
  $$\Theta (\Lambda )=\sum _{k=0}^K{\theta }_k{\Lambda }^k\text{\hspace{1em}(9)}$$
  其中，${\theta }_0,\dots ,{\theta }_K$是科学系参数，$K$是多项式阶。ChebNet用切比雪夫展开代替了特征分解：
  $$\mathbf{\Theta }(\mathbf{\Lambda })=\sum _{k=0}^K{\theta }_k{\mathcal{T}}_k(\tilde{\mathbf{\Lambda }})\text{\hspace{1em}(10)}$$
  其中，$\tilde{\mathbf{\Lambda }}=2\mathbf{\Lambda }/{\lambda }_{\max }-\mathbf{I}$为经过缩放的特征值，${\lambda }_{\max }$是最大特征值，$\mathbf{I}\in {\mathbb{R}}^{N\times N}$为单位阵，${\mathcal{T}}_k(x)$为k阶切比雪夫多项式，其正交基的rescaling是必要的。
• 利用拉普拉斯矩阵的多项式作为其特征值的多项式，则有${\mathbf{L}}^k=\mathbf{Q}{\mathbf{\Lambda }}^k{\mathbf{Q}}^T$，式6的filter操作可写为如下形式：
  u ′ = Q Θ ( Λ ) Q T u = ∑ k = 0 K θ k Q T k (

  以上是关于文献阅读13期：Deep Learning on Graphs: A Survey - 2的主要内容，如果未能解决你的问题，请参考以下文章

  文献阅读17期：Deep Learning on Graphs: A Survey - 6

  文献阅读16期：Deep Learning on Graphs: A Survey - 5

  文献阅读12期：Deep Learning on Graphs: A Survey - 1

  文献阅读17期：Deep Learning on Graphs: A Survey - 6

  文献阅读15期：Deep Learning on Graphs: A Survey - 4

  文献阅读14期：Deep Learning on Graphs: A Survey - 3