推荐系统中图神经网络的发展

Posted 2021-05-01 极验

技术前沿

随着互联网的发展，AI 狂潮的兴起，大量可供使用的公共用户数据产生，每家公司都希望精确的向用户推荐他们的产品或者服务来吸引用户。

最初是从基本的协同过滤和市场购物篮分析开始，然后是使用矩阵分解（例如 SVD 和 PMF）等模型，现在已经扩展到更为复杂的方法上面。

让我们分析一个特殊的情景。假设已经收集了一些用户时尚购物方面的数据，然后我们需要向这些用户推荐一套完整的时尚商品（时装、表以及鞋子等等）或者推荐一些商品来搭配他们已经拥有的。第一个想法是将某些潜在的时尚商品表示输入到双向 LSTM 中。 但是经过进一步思考，我们意识到 LSTM 固有的顺序结构成为问题，因为商品没有固定的顺序。 LSTM 不能正确学习集合中不同商品之间的复杂关系，例如夹克和鞋子，鞋子和袜子等之间的关系。

为了解决上述问题，首先想到的就是用 Graph 来表示，其中节点表示商品，边表示两个商品之间的关系。这就是为什么会出现图神经网络，让我们继续改进推荐系统。

图神经网络

GNN 在建模节点之间的依存关系方面，在推荐系统以及社交网络等其他的很多应用中都是一项突破。因此，让我们分析一下图神经网络的基本结构。 基本上每个节点都是循环单元的形式，灰色信封表示每个节点的特征。 每个边类型都有一个神经网络表示。

在任何时间步上，对于给定节点，就像线性 RNN 网络中一样，从相邻的循环单元中获取消息并进行聚合。我们继续使用 Almeida-Pineda 算法进行学习，该算法通过将传播运行到收敛，然后基于收敛解来计算梯度。这样，我们就可以独立地嵌入每个节点。 然后，将所有这些结合在一起，并将它们连接起来以得到图的表示形式。

显然，一个节点对另一节点的影响随着它们之间的距离呈指数衰减。 因此，可以说，它难以远距离传播信息。 于是，提出门控图神经网络（GGNN）来克服这个问题。

门控图神经网络

顾名思义，相较于图神经网络，GGNN 的主要变化是我们使用GRU（门控循环单位），因此让递归发生一定时间步长，同时在时间上反向传播，而不是使用经典的Almeida-Pineda算法。首先将节点批注复制到隐藏状态的第一部分，其余部分用零填充。 然后处理图的不同节点之间的入边和出边之间的消息流，这些消息的参数取决于边的类型和方向。 最后使用隐藏状态和注释，进行 GRU 的更新。

但是在 GGNN 中，节点通过以固定的方式在边上传递其状态信息来与其他节点进行交互，这存在局限性，即它难以对灵活复杂的节点交互进行建模。 因此，Node-Wise GNN（NGNN）出现了。

Node-wise GNN

NGNN 旨在用节点参数对边交互进行建模。 NGNN中的每个节点对应一类服装。根据不同类别之间的相互作用，初始化不同类别之间的边。 从 a 到 b 的边的权重与以时尚方式找到给定 b 的概率成正比。 对于每个商品，我们都会得到一些特征，并使用它们来更新相应类别节点的初始状态。

为了克服 GGNN 的局限，我们分别维护两个不同的权重矩阵，对应于每个节点的输入和输出，这与 GGNN 的所有边都有一个通用的权重矩阵不同。 此输入输出权重用于查找图中任何边的变换函数。 除此之外，传播方式与GGNN相同。

经过T传播步骤，我们可以获得节点的最终状态，也就是最终的节点嵌入。

除此之外，NCNN 添加了注意力机制，以找出集合中不同商品的兼容性。 例如，一双袜子与人字拖并不兼容。 由于一个节点从其他节点接收状态信息，因此可以轻松合并此注意机制。

引用

Graph Neural Networks:A Review of Methods and Applications

https://arxiv.org/pdf/1812.08434.pdf

Gated Graph Sequence Neural Networks Microsoft Research Paper

https://arxiv.org/pdf/1511.05493.pdf

Gated Graph Sequence Neural Network video explanation by author

https://www.youtube.com/watch?v=_Uj-tNjhVDQ

Dressing as a Whole: Outfit Compatibility Learning Based on Node-wise Graph Neural Networks

原文链接：

https://towardsdatascience.com/evolution-of-graph-neural-networks-for-recommender-systems-51e24d3b5bd4

<<  向左滑动，添加@Eva 入群>>