Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning

Posted 2023-04-16 馒头and花卷

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning相关的知识，希望对你有一定的参考价值。

概
符号说明
Laplacian smoothing
代码

Li Q., Han Z. and Wu X. Deeper insights into graph convolutional networks for semi-supervised learning. AAAI, 2018.

概

本文分析了 GCN 的实际上就是一种 Smoothing, 但是如果层数过多就会导致 over-smoothing.

符号说明

\\(\\mathcalG = (V, E)\\), 图;
\\(|\\mathcalV| = n\\);
\\(A \\in \\mathbbR^n \\times n\\), 邻接矩阵;
\\(L = D - A\\), Laplacian matrix;
\\(L_sym := D^-1/2 L D^-1/2\\);
\\(L_rw := D^-1 L\\);
\\(X = [\\mathbfx_1, \\mathbfx_2, \\cdots, \\mathbfx_n]^T \\in \\mathbbR^n \\times c\\), feature matrix;

Laplacian smoothing

GCN 的每一层实际上就是如下的一个过程:

\\[Y = \\tildeD^-1/2 \\tildeA^-1/2 \\tildeD^-1/2 X, \\]
这里 \\(\\tildeA = A + I, \\tildeD = \\sum_j \\tildeA_ij\\).
在图论中, Laplacian smoothing 被定义为:

\\[\\hatY = X - \\gamma \\tildeD^-1 \\tildeL X = (I - \\gamma \\tildeD^-1 \\tildeL) X = \\Big( (1 - \\gamma) I + \\tildeD^-1 \\tildeA \\Big) X. \\]
倘若 \\(\\gamma=1\\), 则其退化为 \\(\\tildeD^-1 \\tildeAX\\), 这是在一般的 rankdom walk 的机制下推导出来的 Laplacian smoothing.
自然地, 在对称的 Laplacian 矩阵 \\(\\tildeL_sym\\) 的框架下, 我们就得到了一般的 GCN 的方式.
总的来说, 我们可以认为, 相较于普通的 MLP, GCN 更具优势的点在于它能够将相似的点的信息聚在一起, 从而获得更好的判别性质.
但是, 倘若我们不断地叠加 GCN 就会产生 over-smoothing 的现象, 这可以通过如下的定理中理解.

Theorem 1. 如果图 \\(\\mathcalG\\) 不包含 bipartite 成分, 则对于任意的 \\(\\mathbfw \\in \\mathbbR^n, \\alpha \\in (0, 1]\\) 有

\\[\\lim_l \\rightarrow +\\infty (I - \\alpha L_rw)^l \\mathbfw = [\\mathbf1^(1), \\mathbf1^2, \\ldots, \\mathbf1^(k)] \\bm\\rho_1, \\\\ \\lim_l \\rightarrow +\\infty (I - \\alpha L_sym)^l \\mathbfw = D^1/2[\\mathbf1^(1), \\mathbf1^2, \\ldots, \\mathbf1^(k)] \\bm\\rho_2. \\\\ \\]

这里, 我们假设 \\(\\mathcalG\\) 有 \\(k\\) 个连通的部分, 并令:

\\[\\mathbf1_j^(i) = \\left \\ \\beginarrayll 1 & v_j \\in C_i, \\\\ 0 & v_j \\not \\in C_i. \\\\ \\endarray \\right . \\]

proof:

只需证明 \\((I - \\alpha L_rw), (I - \\alpha L_sym)\\) 的特征值在 \\((-1, 1]\\), 且特征值 1 所对应的特征向量为 \\(\\mathbf1, D^1/2 \\mathbf1\\).

注: 文中说 \\(I - \\alpha L_sym\\) 的特征值为 \\(D^-1/2\\mathbf1\\), 这似乎是错的, 因为

\\[\\beginarrayll (I - \\alpha L_sym) D^1/2 \\mathbf1 &= D^1/2 \\mathbf1 - \\alpha L_sym D^1/2 \\mathbf1 \\\\ &= D^1/2 \\mathbf1 - \\alpha D^-1/2 L D^-1/2 D^1/2 \\mathbf1 \\\\ &= D^1/2 \\mathbf1 - \\alpha (I - D^-1/2 A D^-1/2) D^1/2 \\mathbf1 \\\\ &= D^1/2 \\mathbf1 - \\alpha (D^1/2\\mathbf1 - D^-1/2 A\\mathbf1) \\\\ &= D^1/2 \\mathbf1 - \\alpha (D^1/2\\mathbf1 - D^-1/2 D\\mathbf1) \\\\ &= D^1/2 \\mathbf1 - \\alpha 0 \\\\ &= D^1/2 \\mathbf1. \\endarray \\]

\\(D^-1/2\\mathbf1\\) 是如何证明出来的?