逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用

Posted 白水baishui

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用相关的知识,希望对你有一定的参考价值。

当历史交互数据为MCAR(Missing Completely At Random,完全随机缺失)时,评级预测损失函数可以定义为:
L o s s N a i v e = 1 ∣ ( u , i ) : o u , i = 1 ∣ ∑ ( u , i ) : o u , i = 1 δ u , i ( Y , Y ^ ) \\mathcalLoss_Naive=\\frac1|\\(u,i):o_u,i=1\\|\\sum_(u,i):o_u,i=1\\delta_u,i(Y,\\hatY) LossNaive=(u,i):ou,i=11(u,i):ou,i=1δu,i(Y,Y^)其中, Y ^ \\hatY Y^表示预测的评级; Y Y Y 表示 u u u i i i 的实际评级; o u , i = 1 o_u,i=1 ou,i=1 表示 u u u i i i 有评级; ∣ ( u , i ) : o u , i = 1 ∣ |\\(u,i):o_u,i=1\\| (u,i):ou,i=1 表示所有被浏览项目的数量; δ u , i ( Y , Y ^ ) \\delta_u,i(Y,\\hatY) δu,i(Y,Y^) 表示 Y Y Y Y ^ \\hatY Y^ 之间匹配程度的度量,可以定义为: δ u , i M S E ( Y , Y ^ ) = ( y u , i − y ^ u , i ) 2 \\delta^MSE_u,i(Y,\\hatY)=(y_u,i-\\haty_u,i)^2 δu,iMSE(Y,Y^)=(yu,iy^u,i)2 δ u , i M A E ( Y , Y ^ ) = ∣ y u , i − y ^ u , i ∣ \\delta^MAE_u,i(Y,\\hatY)=|y_u,i-\\haty_u,i| δu,iMAE(Y,Y^)=yu,iy^u,i

但是历史记录往往是MNAR(Missing Not At Random,非随机缺失)的,那么整体评级预测损失就是有偏的: E [ L o s s N a i v e ] = 1 ∑ u = 1 N ∑ i = 1 M p ( o u , i = 1 ) ∑ u = 1 N ∑ i = 1 M p ( o u , i = 1 ) δ u , i ( Y , Y ^ ) ≠ 1 N ⋅ M ∑ u = 1 N ∑ i = 1 M δ u , i ( Y , Y ^ ) \\beginaligned \\mathbbE[\\mathcalLoss_Naive] & = \\frac1\\sum^N_u=1\\sum^M_i=1p(o_u,i=1)\\sum^N_u=1\\sum^M_i=1p(o_u,i=1)\\delta_u,i(Y,\\hatY) \\\\ & \\neq \\frac1N\\cdot M\\sum^N_u=1\\sum^M_i=1\\delta_u,i(Y,\\hatY) \\\\ \\endaligned E[LossNaive]=u=1Ni=1Mp(ou,i=1)1u=1Ni=1Mp(ou,i=1)δu,i(Y,Y^)=NM1u=1Ni=1Mδu,i(Y,Y^)其中, p ( o u , i = 1 ) p(o_u,i=1) p(ou,i=1) 是指 u u u 浏览 i i i 的概率; 1 N ⋅ M ∑ u = 1 N ∑ i = 1 M δ u , i ( Y , Y ^ ) \\frac1N\\cdot M\\sum^N_u=1\\sum^M_i=1\\delta_u,i(Y,\\hatY) NM1u=1Ni=1Mδu,i(Y,Y^) 指的是所有 u u u 对所有 i i i 平均评分损失,它是一种算术平均; E [ L o s s N a i v e ] \\mathbbE[\\mathcalLoss_Naive] E[LossNaive<

以上是关于逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用的主要内容,如果未能解决你的问题,请参考以下文章

逆向倾向评分 (Inverse Propensity Scoring, IPS) 原理解析与MF算法的结合使用

模仿学习:逆向强化学习(Inverse Reinforcement Learning, IRL)

词频-逆向文件频率TF-IDF(term frequency–inverse document frequency)是什么?有什么用处?

如何用R语言实现倾向评分匹配(Propensity Score Matching)

因果推断笔记——python 倾向性匹配PSM实现示例

因果推断笔记——python 倾向性匹配PSM实现示例