逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用

Posted 2023-03-02 白水baishui

当历史交互数据为MCAR(Missing Completely At Random，完全随机缺失)时，评级预测损失函数可以定义为：
$${\mathcal{L}oss}_{Naive}=\frac{1}{|(u,i):o_{u,i}=1|}\sum _{(u,i):o_{u,i}=1}{\delta }_{u,i}(Y,\hat{Y})$$其中，$\hat{Y}$表示预测的评级；$Y$ 表示 $u$ 对 $i$ 的实际评级；$o_{u,i}=1$ 表示 $u$ 对 $i$ 有评级；$|(u,i):o_{u,i}=1|$ 表示所有被浏览项目的数量；${\delta }_{u,i}(Y,\hat{Y})$ 表示 $Y$ 与 $\hat{Y}$ 之间匹配程度的度量，可以定义为：$${\delta }_{u,i}^{MSE}(Y,\hat{Y})=(y_{u,i}-{\hat{y}}_{u,i}{)}^2$$$${\delta }_{u,i}^{MAE}(Y,\hat{Y})=|y_{u,i}-{\hat{y}}_{u,i}|$$

但是历史记录往往是MNAR(Missing Not At Random，非随机缺失)的，那么整体评级预测损失就是有偏的：$$\begin{array}{rl}\mathbb{E}[{\mathcal{L}oss}_{Naive}]& =\frac{1}{{\sum }_{u=1}^N{\sum }_{i=1}^{M}p(o_{u,i}=1)}\sum _{u=1}^N\sum _{i=1}^{M}p(o_{u,i}=1){\delta }_{u,i}(Y,\hat{Y})\\ & \ne \frac{1}{N\cdot M}\sum _{u=1}^N\sum _{i=1}^M{\delta }_{u,i}(Y,\hat{Y})\end{array}$$其中，$p(o_{u,i}=1)$ 是指 $u$ 浏览 $i$ 的概率；$\frac{1}{N\cdot M}{\sum }_{u=1}^N{\sum }_{i=1}^M{\delta }_{u,i}(Y,\hat{Y})$ 指的是所有 $u$ 对所有 $i$ 平均评分损失，它是一种算术平均；$\mathbb{E}[{\mathcal{L}oss}_{Naive}$