图神经网络——KDD 2019KGAT

Posted 2021-05-21 卓寿杰_SoulJoy

深度推荐算法（如DeepFM等）模型有个缺点：将训练数据里（用户交互数据）的特征进行独立建模，没有考虑到交互数据之间的关系。这使得这些模型不足以从用户的行为中提取出基于属性的协同信息。

如上图：用户u1 看了电影i1 ，这个电影是 ei 导演的，传统的CF方法会着重去找那些也看了电影i1 的用户，比如u4、u5 。而监督学习方法会重点关注那些有相同属性ei 的电影，比如 i2。很显然这两类信息都可以作为推荐信息的补充，但是现有的模型不能做到上面两者信息的融合，而且这里的高阶关系也可以作为推荐信息的补充的。比如图中黄色框图里的用户看了同样由 ei 导演的电影 i2 , 还有灰色框图里电影有e2的参演。

为了解决上面提到的问题，本文提出KGAT方法，将图谱关系信息及用户user点击商品item的交互图融合到一个图空间里，可以融合CF信息及KG信息，同时发现高阶的关系信息：

CKG Embedding Layer

KGAT采用了TransR方法，对于三元组( h , r , t ) 的似然得分如下：

训练成对损失函数如下：

Attentive Embedding Propagation Layers

作者认为每个邻居节点应该贡献不同的权值，因此本文采用的了attention的方式来求得每一个邻居节点的重要性：

作者实验选择效果最好的聚合方式：Bi-Interaction（相加与点乘）相加得到最终表示：

多层传播：

Prediction Layer

预测层将Attentive Embedding Propagation Layers层得到的多层用户表示 及多层item表示进行相乘得到相关性得分：

Optimization

观察到的交互表示出用户的偏好，那么相应就应该有更高的预测评分：

最终与CKG Embedding Layer的损失函数结合，得到最终的损失函数：