Neural Collaborative Filtering阅读笔记

Posted 2022-11-24 zhongrui_fzr

2017-深度协同过滤
代码地址：pytorch版
https://github.com/hexiangnan/neural_collaborative_filtering
作者何向南
使用神经结构替换矩阵分解的内积

摘要

近几年来，深度学习在推荐系统领域应用不多，本文力争使用深度学习解决推荐系统领域的关键问题：隐式反馈的协同过滤
尽管最近也有一些工作将深度学习应用于推荐领域，但都主要集中在对辅助信息建模上，比如物品的文本描述、音乐的声学特征等等。
但对于协同过滤中的关键点，用户和物品的交互建模上仍然是矩阵分解MF，然后使用用户和物品的隐特征做内积。
本文提出了一种通用框架，NCF（Neural network- based Collaborative Filtering），基于神经网络的协同过滤，它把内积部分替换成了可以拟合任意函数的神经网络结构。
NCF是一个通用框架，可以表达并泛化到矩阵分解。为了提高NCF的非线性，本文提出使用MLP学习用户物品交互函数。最后在两个实际数据集上验证了NCF远优于sota方法。经验表明，使用深度神经网络能提供更好的推荐效果。

深度协同过滤

先说明如何使用强调隐式反馈二值性的概率模型学习NCF，再阐明NCF可以表达MF并泛化到MF。为了探索用于协同过滤的DNN结构，本文提出了一个NCF实例，使用MLP学习用户物品交互函数。
最后，本文提出一个在NCF框架下融合MF和MLP的新的深度矩阵分解模型，既有MF的线性优势，又利用MLP的非线性建模用户物品的隐特征。

通用框架

为了实现一个全神经网络的协同过滤，引入多层表示来建模用户物品交互，上一层的输出是下一层的输入。如下图所示，

• 最底层的输入input layer由两个描述用户和物品的特征向量$v_u^U$和$v_i^I$组成，它们可以被定制成各种各样的用户物品模型，比如上下文感知，基于内容，基于近邻等等
  鉴于本文集中于纯粹的协同过滤场景，只使用用户身份和物品独热编码的二值稀疏向量作为输入特征。使用通用特征表示作为输入的另一个好处是使我们的方法可以通过引入内容特征表示用户和物品来轻易解决冷启动问题。
• 输入层之上是embedding layer，这是一个全连接层，将稀疏表示映射为稠密向量。得到的用户/物品embedding可以看做是隐因子模型中的隐向量。用户和物品的embedding随后喂给一个多层神经网络结构，本文称之为深度协同过滤层，将隐向量映射到预测分数。
• Neural CF layers的每一层都可以定制化为挖掘用户物品交互的某种隐式结构。最后一层隐层X的维度决定了模型的表达能力。
• 最后是输出层output layer，预测分值${\hat{y}}_{ui}$，训练也是通过最小化${\hat{y}}_{ui}$和目标值$y_{ui}$之间的pointwise loss进行的。
  我们注意到训练本文模型的另外一种方式是pairwise学习，比如使用贝叶斯个性化排序BPR和margin-based loss。由于本文的重点是神经网络建模部分，我们把pairwise learning的扩展部分作为未来工作。
  现在NCF的预测模型可以表达为：${\hat{y}}_{ui}=f(P^T{V}_u^U,Q^T{V}_i^I|P,Q,{⊝}_f)$，其中$P\in R^{MXK}$和$Q\in R^{NXK}$，分别表示用户和物品的隐因子矩阵，${⊝}_f$表示交互函数f的模型参数。
  函数f是一个多层神经网络，可以描述为$f(P^T{V}_u^U,Q^T{V}_i^I)={\varphi }_{out}({\varphi }_X(...{\varphi }_2({\varphi }_1(P^T{V}_u^U,Q^T{V}_i^I))...))$，其中，${\varphi }_{out}$和${\varphi }_x$分别表示输出层和第x层深度协同过滤层，Neural CF共有X层。

学习NCF

现有的pointwise方法大部分都是使用平方损失回归学习模型参数：$L_{sqr}={\sum }_{(u,i)\in y\bigcup y^{-}}{w}_{ui}(y_{u}i-{\hat{y}}_{ui}{)}^2$，其中y表示Y中观测到的行为，$y^{-}$表示负样本，可以是所有没观测到的行为也是未观测行为的采样，$w_{ui}$是一个超参数，表示训练实例(u,i)的权重。然后平方损失的前提是观测数据是服从高斯分布的，本文认为这一点可能并不符合隐式反馈数据，因为隐式反馈的目标值$y_{ui}$是二分值0或1，表示u是否和i有交互。接下来，我们会提出一种学习pointwise NCF的概率方法，重点关注隐式反馈的二值属性。
鉴于隐式反馈的一元本质，可以把$y_{ui}$的值看做是标签，1表示物品i和用户u相关，0则无关。预测分数${\hat{y}}_{ui}$表示物品i和用户u的相关度。为了让NCF有这样的概率解释，需要限制输出${\hat{y}}_{ui}$的范围在[0,1]内，这一点使用概率函数（如Logistic函数或Probit函数）作为输出层${\varphi }_{out}$的激活函数非常容易做到。
由此，得到似然函数：$p(y,y^{-}|P,Q,{⊝}_f)={\prod }_{(u,i)\in y}{\hat{y}}_{ui}{\prod }_{(u,j)\in y^{-}}(1-{\hat{y}}_{uj})$
取负的对数似然，得到：$L=-{\sum }_{(u,i)\in y}log\stackrel{论文笔记之Neural\; Collaborative\; Filtering}{y}$

第九周.01.Neural Graph Collaborative Filtering

推荐算法论文：Neural Collaborative Filtering

Neural Collaborative Filtering（神经协同过滤）

论文笔记-Item2Vec- Neural Item Embedding for Collaborative Filtering

DNN论文分享 - Item2vec: Neural Item Embedding for Collaborative Filtering