图神经网络——KDD 2018PinSage

Posted 2021-05-21 卓寿杰_SoulJoy

可以先参阅《图神经网络——【NIPS 2017】GraphSAGE》。本文将基于GraphSAGE来讲讲PinSage

Convolve

Convolve算法相当于GraphSage算法的聚合阶段过程，是PinSage中的单层图卷积算法，实际执行中，对K层邻居的每一层都执行一遍图卷积以得到不同阶邻居的信息。主要操作包括：

• 聚合邻居： 所有的邻居节点都经过一层dense层，再由聚合器或池化函数 （如元素平均，加权和等）将所有邻居节点的信息聚合成一个vector

• 更新当前节点的embedding：将目标节点的当前embedding与聚合后的邻居向量拼接后再经过一层dense层

• 归一化：对目标节点embedding归一化

minibatch

• 首先，与GraphSage一样的是，邻居采样阶段，PinSage这里创新的一点是将GraphSage的随机采样改为重要性采样。利用节点 u 开始随机游走，并计算基于随机游走访问到的节点次数，并将访问次数最高的 K 个节点作为邻域。这样做的优点在于，聚合节点的数量固定有助于控制训练的内存；其次在聚合邻居节点时可以进行加权聚合。

• 然后，进行Convolve算法操作

• 最后，与GraphSage不同的，目标节点与各自邻居聚合之后的embedding并不是直接替换目前节点的当前embedding，而是经过一层dense层后再替换。

有监督训练

训练损失使用的是max-margin ranking loss，即最大化正例之间的相似性，同时保证与负例之间相似性小于正例间的相似性：