文献阅读15期：Deep Learning on Graphs: A Survey - 4

Posted 2023-02-27 RaZLeon

[ 文献阅读·综述 ] Deep Learning on Graphs: A Survey [1]

推荐理由：图神经网络的survey paper，在很多的领域展现出了独特的作用力，分别通过GRAPH RNN（图循环网络）、GCN（图卷积）、GRAPH AUTOENCODERS（图自编码器）、GRAPH REINFORCEMENT LEARNING（图强化学习模型）、GRAPH ADVERSARIAL METHODS（图对抗模型）等五个类型的模型进行阐述，可以让大家对图神经网络有一个整体的认识。

4.3 提高与探讨

• 这节主要讨论其他的一些可以被应用到图深度学习上的方法。

4.3.1.注意力机制

• 在之前的方法中，大部分图图计算过程中，近邻节点的影响非常大，但这些节点影响的方式是实现制定好的，并非训练得来的。Graph attention network (GAT)引入了一种调整卷及操作的机制：
  $${\mathbf{h}}_i^{l+1}=\rho \left(\sum _{j\in \hat{\mathcal{N}}(i)}{\alpha }_{ij}^l{\mathbf{h}}_j^l{\Theta }^l\right)\text{\hspace{1em}(32)}$$
  其中，${\alpha }_{ij}^l$便是$l^{th}$层中指节点$v_i$对节点$v_j$的注意程度：
  $${\alpha }_{ij}^l=\frac{\exp \left(\text{ LeakyReLU }\left(\mathcal{F}\left({\mathbf{h}}_i^l{\Theta }^l,{\mathbf{h}}_j^l{\Theta }^l\right)\right)\right)}{{\sum }_{k\in \hat{\mathcal{N}}(i)}\exp \left(\text{ LeakyReLU }\left(\mathcal{F}\left({\mathbf{h}}_i^l{\Theta }^l,{\mathbf{h}}_k^l{\Theta }^l\right)\right)\right)}\text{\hspace{1em}(33)}$$
• 下图展示了一种多头注意力机制：
  
• 至于其他的注意力机制还有两级注意机制，这种机制兼顾了节点级别和语义级别的注意。

4.3.2.残差和跳连

• 一般来说GCN的层数不宜过多，一般2-3层为佳。这个问题可能是由于训练深度GCN的实际困难或过度平滑问题造成的。比如所有深层的节点都是同样的表达。
• 为了解决这一问题，残差连接被引入GCN：
  $${\mathbf{H}}^{l+1}=\rho \left({\tilde{\mathbf{D}}}^{-\frac{1}{2}}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-\frac{1}{2}}{\mathbf{H}}^l{\Theta }^l\right)+{\mathbf{H}}^l\text{\hspace{1em}(34)}$$
• Column network (CLN)采用了一种近似的残差连接，但包含有可训练权重：
  $${\mathbf{h}}_i^{l+1}={\mathbf{\alpha }}_i^l\odot {\tilde{\mathbf{h}}}_i^{l+1}+\left(1-{\mathbf{\alpha }}_i^l\right)\odot {\mathbf{h}}_i^l\text{\hspace{1em}(35)}$$
  其中，权重的计算方式为：
  $${\mathbf{\alpha }}_i^l=\rho \left({\mathbf{b}}_{\alpha }^l+{\mathbf{\Theta }}_{\alpha }^l{\mathbf{h}}_i^l+{\mathbf{\Theta }}_{\alpha }^{\prime l}\sum _{j\in \mathcal{N}(i)}{\mathbf{h}}_j^l\right)\text{\hspace{1em}(36)}$$
• 受个性化PageRank的影响，PPNP定义了一种含有传送信息至初始层的图卷积：
  H l + 1 = ( 1 − α ) D ~ − 1 2 A ~ D ~ − 1 2 H l + α H 0 (37) \\mathbfH^l+1=(1-\\alpha) \\tilde\\mathbfD^-\\frac12 \\tilde\\mathbfA \\tilde\\mathbfD^-\\frac12 \\mathbfH^l+\\alpha \\mathbfH^0\\tag37 以上是关于文献阅读15期：Deep Learning on Graphs: A Survey - 4的主要内容，如果未能解决你的问题，请参考以下文章

  文献阅读15期：Deep Learning on Graphs: A Survey - 4

  文献阅读17期：Deep Learning on Graphs: A Survey - 6

  文献阅读16期：Deep Learning on Graphs: A Survey - 5

  文献阅读12期：Deep Learning on Graphs: A Survey - 1

  文献阅读17期：Deep Learning on Graphs: A Survey - 6

  文献阅读14期：Deep Learning on Graphs: A Survey - 3