如何使用图卷积网络对图进行深度学习

Posted 点PY

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何使用图卷积网络对图进行深度学习相关的知识,希望对你有一定的参考价值。

简介

由于高度复杂但信息丰富的图结构,图上的机器学习是一项艰巨的任务。这篇文章是关于如何使用图卷积网络 (GCN) 对图进行深度学习的系列文章中的第一篇,GCN 是一种强大的神经网络,旨在直接处理图并利用其结构信息。

在这篇文章中,我会给出一个1.产品我到GCNs和说明如何信息是通过使用编码示例的GCN的隐藏层传播。我们将看到 GCN 如何聚合来自前几层的信息,以及这种机制如何生成图中节点的有用特征表示。

什么是图卷积网络?

GCN 是一种非常强大的神经网络架构,用于图上的机器学习。事实上,它们是如此强大,以至于即使是随机启动的 2 层 GCN也可以产生网络中节点的有用特征表示。下图说明了由这种 GCN 生成的网络中每个节点的二维表示。请注意,即使没有任何训练,网络中节点的相对接近度也保留在二维表示中。


更正式地说,图卷积网络 (GCN)是一种对图进行操作的神经网络。给定一个图G = (V, E),一个 GCN 作为输入

  • 一个输入特征矩阵N × F⁰特征矩阵,X,其中N是节点的数量,F⁰是每个节点的输入特征的数量,并且

  • 图结构的N × N矩阵表示,例如G.[1]的邻接矩阵A

因此,GCN 中的隐藏层可以写为Hⁱ = f( H ⁱ⁻¹, A )),其中H ⁰ = X并且f是 传播 [1]。每层Hⁱ对应一个N × F ⁱ特征矩阵,其中每一行是一个节点的特征表示。在每一层,使用传播规则f聚合这些特征以形成下一层的特征。通过这种方式,每个连续层的特征变得越来越抽象。在这个框架中,GCN 的变体仅在传播规则f [1]的选择上有所不同。

一个简单的传播规则

最简单的传播规则之一是 [1]:

其中Wⁱ是第i层的权重矩阵,σ是非线性激活函数,例如ReLU 函数。权重矩阵的维度为F ⁱ × Fⁱ ⁺ ¹;换句话说,权重矩阵的第二维的大小决定了下一层的特征数量。如果您熟悉卷积神经网络,此操作类似于过滤操作,因为这些权重在图中的节点之间共享。

简化

让我们在最简单的级别上检查传播规则。让

  • i = 1 , st f是输入特征矩阵的函数,
  • σ是恒等函数,并且
  • 选择权重 st AH ⁰ W ⁰ = AXW ⁰ = AX。

换句话说,f( X , A ) = AX。这个传播规则可能有点太简单了,但我们稍后会添加缺失的部分。作为旁注,AX现在相当于多层感知器的输入层。

一个简单的图形示例

作为一个简单的例子,我们将使用下图:


下面是它的numpy邻接矩阵表示。

A = np.matrix([
    [0, 1, 0, 0],
    [0, 0, 1, 1], 
    [0, 1, 0, 0],
    [1, 0, 1, 0]],
    dtype=float
)

接下来,我们需要特征!我们根据每个节点的索引为每个节点生成 2 个整数特征。这使得稍后手动确认矩阵计算变得容易。

In [3]: X = np.matrix([
            [i, -i]
            for i in range(A.shape[0])
        ], dtype=float)
        X
Out[3]: matrix([
           [ 0.,  0.],
           [ 1., -1.],
           [ 2., -2.],
           [ 3., -3.]
        ])

应用传播规则

好吧!我们现在有一个图,它的邻接矩阵A和一组输入特征X。让我们看看当我们应用传播规则时会发生什么:

In [6]: A * X 
Out[6]: matrix([ 
            [ 1., -1.], 
            [ 5., -5.], 
            [ 1., -1.], 
            [ 2., -2. ]]

发生了什么? 每个节点(每一行)的表示现在是其邻居特征的总和!换句话说,图卷积层将每个节点表示为其邻域的聚合。我鼓励你自己检查计算。请注意,在这种情况下,如果存在从v到n的边,则节点n是节点v的邻居。

存在的问题

您可能已经发现了问题:

  • 节点的聚合表示不包括其自身的特征!该表示是邻居节点特征的聚合,因此只有具有自循环的节点才会在聚合中包含自己的特征。
  • 度数大的节点在其特征表示中将具有较大的值,而度数较小的节点将具有较小的值。这可能会导致梯度消失或爆炸 [1, 2],但对于通常用于训练此类网络并对每个输入特征的尺度(或值范围)敏感的随机梯度下降算法也存在问题。

在下文中,我将分别讨论这些问题中的每一个。

添加自循环

为了解决第一个问题,可以简单地为每个节点添加一个自循环 [1, 2]。实际上,这是通过在应用传播规则之前将单位矩阵添加I到邻接矩阵A来完成的。

In [4]: I = np.matrix(np.eye(A.shape[0]))
        I
Out[4]: matrix([
            [1., 0., 0., 0.],
            [0., 1., 0., 0.],
            [0., 0., 1., 0.],
            [0., 0., 0., 1.]
        ])
In [8]: A_hat = A + I
        A_hat * X
Out[8]: matrix([
            [ 1., -1.],
            [ 6., -6.],
            [ 3., -3.],
            [ 5., -5.]])

由于该节点现在是自己的邻居,所以在总结其邻居的特征时,包括该节点自己的特征!

规范化特征表示

通过将邻接矩阵A乘以逆度矩阵D[1],可以通过节点度对特征表示进行归一化。因此,我们简化的传播规则如下所示 [1]:

让我们看看发生了什么。我们首先计算度矩阵。

In [9]: D = np.array(np.sum(A,axis=0))[0] 
        D = np.matrix(np.diag(D)) 
        D 
Out[9]: matrix([ 
            [1. , 0., 0., 0.], 
            [0., 2., 0., 0.], 
            [0., 0., 2., 0.], 
            [0., 0., 0., 1 .] 
        ])

在应用规则之前,让我们看看变换后的邻接矩阵会发生什么。

A = np.matrix([ 
    [0, 1, 0, 0], 
    [0, 0, 1, 1], 
    [0, 1, 0, 0], 
    [1, 0, 1, 0]], 
    dtype=float

In [10]: D**-1 * A 
Out[10]: matrix([ 
             [ [0. , 1. , 0. , 0. ], 
             [0. , 0. , 0.5, 0.5], 
             [0. , 0.5, 0. , 0. ], 
             [0.5, 0. , 0.5, 0. ] 
])

观察到邻接矩阵每一行的权重(值)已经除以该行对应的节点的度数。我们将传播规则与变换后的邻接矩阵一起应用

In [11]: D**-1 * A * X 
Out[11]: matrix([ 
             [ [ 1. , -1. ], 
             [ 2.5, -2.5], 
             [ 0.5, -0.5], 
             [ 2. , - 2.] 
         ])

并得到与相邻节点特征的均值相对应的节点表示。这是因为(转换后的)邻接矩阵中的权重对应于相邻节点特征的加权总和中的权重。我再次鼓励您亲自验证这一观察结果。

把它放在一起

我们现在结合自循环和归一化技巧。此外,我们将重新引入我们之前丢弃的权重和激活函数,以简化讨论。

加回权重

首要任务是应用权重。注意这里D_hat是 的度矩阵A_hat = A + I,即A强制自环的度矩阵。

In [45]: W = np.matrix([
             [1, -1],
             [-1, 1]
         ])
         D_hat**-1 * A_hat * X * W
Out[45]: matrix([
            [ 1., -1.],
            [ 4., -4.],
            [ 2., -2.],
            [ 5., -5.]
        ])

如果我们想减少输出特征表示的维度,我们可以减少权重矩阵的大小W:

In [46]: W = np.matrix([
             [1],
             [-1]
         ])
         D_hat**-1 * A_hat * X * W
Out[46]: matrix([[1.],
        [4.],
        [2.],
        [5.]]
)

添加激活函数

我们选择保留特征表示的维度并应用ReLU激活函数。

In [51]: W = np.matrix([ 
             [1, -1], 
             [-1, 1] 
         ]) 
         relu(D_hat**-1 * A_hat * X * W) 
Out[51]: matrix([[ 1., 0.], 
        [4., 0.], 
        [2., 0.], 
        [5., 0.]])

瞧!一个带有邻接矩阵、输入特征、权重和激活函数的完整隐藏层!

回到现实

现在,我们终于可以在真实图上应用图卷积网络了。我将向您展示如何生成我们在文章早期看到的特征表示。

扎卡里的空手道俱乐部

Zachary 的空手道俱乐部是一个常用的社交网络,其中节点代表空手道俱乐部的成员,边缘代表他们之间的相互关系。在 Zachary 学习空手道俱乐部时,管理员和教练之间发生了冲突,导致俱乐部一分为二。下图显示了网络的图形表示,节点根据俱乐部的哪个部分进行标记。管理员和讲师分别标有“A”和“I”。

构建 GCN

现在让我们构建图卷积网络。我们实际上不会训练网络,而是简单地随机初始化它以产生我们在本文开头看到的特征表示。我们将使用networkx它具有易于获得的俱乐部图形表示,并计算A_hat和D_hat矩阵。

from networkx import karate_club_graph, to_numpy_matrix
zkc = karate_club_graph()
order = sorted(list(zkc.nodes()))
A = to_numpy_matrix(zkc, nodelist=order)
I = np.eye(zkc.number_of_nodes())
A_hat = A + I
D_hat = np.array(np.sum(A_hat, axis=0))[0]
D_hat = np.matrix(np.diag(D_hat))

接下来,我们将随机初始化权重。

W_1 = np.random.normal( 
    loc=0, scale=1, size=(zkc.number_of_nodes(), 4)) 
W_2 = np.random.normal( 
    loc=0, size=(W_1.shape[1], 2))

堆叠 GCN 层。我们在这里仅使用单位矩阵作为特征表示,即每个节点都表示为一个单热编码的分类变量。

def gcn_layer(A_hat, D_hat, X, W):
    return relu(D_hat**-1 * A_hat * X * W)
H_1 = gcn_layer(A_hat, D_hat, I, W_1)
H_2 = gcn_layer(A_hat, D_hat, H_1, W_2)
output = H_2

我们提取特征表示。

feature_representations = {
    node: np.array(output)[node] 
    for node in zkc.nodes()}

瞧!将 Zachary 的空手道俱乐部中的社区很好地分开的特征表示。而且我们还没有开始训练呢!

Zachary 的空手道俱乐部中节点的特征表示

我应该注意到,对于这个例子,随机初始化的权重很可能在 x 轴或 y 轴上给出 0 值作为 ReLU 函数的结果,因此需要一些随机初始化来生成上图。

结论

在这篇文章中,我对图卷积网络进行了高级介绍,并说明了 GCN 中每一层节点的特征表示如何基于其邻域的聚合。我们看到了如何使用 numpy 构建这些网络以及它们有多么强大:即使是随机初始化的 GCN 也可以将 Zachary 的空手道俱乐部中的社区分开。

参考
https://towardsdatascience.com/how-to-do-deep-learning-on-graphs-with-graph-convolutional-networks-7d2250723780

以上是关于如何使用图卷积网络对图进行深度学习的主要内容,如果未能解决你的问题,请参考以下文章

基于图卷积网络的图深度学习

深度学习100例 | 第52天-图卷积神经网络(GCN):实现论文分类

深度学习100例 | 第52天-图卷积神经网络(GCN):实现论文分类

深度学习与图神经网络核心技术实践应用高级研修班-Day3图神经网络(GNN)

从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型

中科院计算所沈华伟:图卷积神经网络的思想起源