论文笔记：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

Posted 2023-03-08 UQI-LIUWJ

ICLR 2023

1 intro

• GNN在基于图的推荐系统中展现了良好的效果
  • 这得益于其整合相邻结点信息以进行协同过滤的能力
  • 在用户-物品交互图上进行多层的信息传递，以此挖掘高阶的连接信息
• 很大一部分基于 GNN 的协同过滤模型采用了监督学习的范式
  • 这需要大量准确的带标签信息用以训练
  • 然而，在实际的应用场景中，数据往往十分稀疏，导致监督学习无充分的信息可供利用。
• 最新的模型往往采用对比学习来对数据进行增强操作
  • 在原有图结构的基础上略作扰动
  • 以此增强后的新图产生一组新的表征向量
  • 将这组新的表征向量与原图产生的表征向量进行对齐
  • 不属于同一结点的表征向量互相推远
• 虽然对比学习在提升图推荐系统的效果上作用十分明显，但它的效果很大程度上依赖于数据增强的方法
  • 绝大部分现有的图对比学习方法使用以下两种方法：
    • 基于随机过程（stochastic-based）
      • 可能会损失图中重要的结构信息，从而误导模型
    • 基于经验的（heuristic-based）
      • 建立在对数据分布较强的假设上
      • ——>这会限制模型的普适性，并容易受数据中的噪声影响
  • 同时，绝大部分基于 GNN 的对比学习推荐系统仍然存在图表征过平滑问题，无法有效地将正负样例区分开来
• 为了解决上述问题，这篇论文重新探索了图对比学习的范式，并提出了一种简单且高效的图对比学习框架 LightGCL
  • 图数据增强是由奇异值分解及重构来指导的
    • 奇异值分解重构所得的新图为全连接图，不但能挖掘局部的用户-物品交互信息，而且可以提取全局的协同过滤信号
    • 以奇异值分解重构作为数据增强的方法相比于随机过程或基于经验的方法含有更多有效信息
    • 由于该数据增强方法有效保存了原图的信息，我们得以进一步精简图对比学习的框架，将数据增强图的数量由两个减为一个，大大提升了训练效率。

2 模型部分

 

2.1 局部图结构信息提取

• 记用户ui和商品vj的embedding分别为
• 所有用户和商品的embedding是,其中I和J分别是user和item的数量

• 这里使用两层GCN来聚合每个节点的邻居信息

   

  • 
    • 其中是第l层用户ui的聚合embedding，是第l层用户vj的聚合embedding
    • σ是负斜率为0.5的LeakuReLU
    • 是规范化的邻接矩阵（这里是一个I*J的邻接矩阵）
    • p是edge drop，用来缓解graph的过拟合
• 每一层使用残差链接来保持一定的原始信息
  •  
• 最终的每个节点的embedding，是将之前各层的embedding加和
  • 

2.2  基于奇异值分解的高效全局信息挖掘

• LightGCL 首先对用户-物品交互矩阵进行奇异值分解
  • 然后将奇异值由大到小排列，截取最大的q个奇异值，接着便重构邻接矩阵
  • 这个重构的邻接矩阵实际上是原邻接矩阵的低阶近似
    • 不仅包含了原邻接矩阵中的重要组分信息
    • 而且由于其为全连接图，考虑了每一对用户和物品之间的潜在关联，更能挖掘图中的全局信息
• 然而，在大型矩阵上计算精确的奇异值分解需要很长的计算时间，在数据量庞大的推荐场景中并不实际。
  • 本文采取了 Halko 等人于 2011 年提出的近似奇异值算法。
    • 近似奇异值算法是一种随机算法，主旨是首先以一个低阶的正交矩阵近似原矩阵的数值范围（range），然后再在这个低阶正交矩阵上进行奇异值分解，以近似原矩阵的奇异值分解。
• 

 

 2.3 对比学习

• 每一层原始图上的用户/物品，embedding的对比loss
  • 
• 最终预测结果，每个用户i和 positive的物品Ps之间的内积越大越好；每个用户i和 negative的物品Ns之间的内积越小越好
  • 
• 

 

 3 实验部分