ALS数学点滴

Posted 2020-08-01 月圆天心

 

 

 

其中，$n_{u_i}$表示用户$i$评分的电影数目，$n_{m_j}$表示对电影$j$评分的用户数目。设$I_i$表示用户$i$所评分的电影集合，则$n_{u_i}$是$I_i$的基数，同样的，$I_j$表示对电影$j$评分的用户集合，$n_{m_j}$是$I_j$的基数。这对应于Tikhonov正则化中的$\\Gamma_U=diag(n_{u_i})$和$\\Gamma_M=diag(n_{m_j})$

 

设$U=[\\mathbf{u}_i]$为用户特征矩阵，$M=[\\mathbf{m}_j]$为电影特征矩阵。

 

我们在$M$给定的情况下来求解$U$。$U$中某一列$u_i$是通过求解一个正则化线性最小二乘问题确定的，该问题的求解需要已知的用户$i$的评分，以及用户$i$参与评分的电影的特征向量$m_j$.

 

用户特征矩阵的每一列的解$\\mathbf{u}_i$如下：
$$\\mathbf{u}_i=A_i^{-1}V_i$$
该解对应的原始方程为:$$A_i \\mathbf{u}_i=V_i$$

其中，$A_i=M_{I_i}M_{I_i}^T+\\lambda n_{u_i}E$ ，$V_i=M_{I_i}R^T(i,I_i)$。$E$是一个$n_f\\times n_f$单位矩阵。$M_{I_i}$是电影特征矩阵的一个子矩阵，其中只选取$j\\in I_i$的列。$I_i$是用户$i$所评分的电影集合。$R(i,I_i)$是原始user-movie矩阵$R$中第$i$行的向量，该行中只选取$j\\in I_i$的列中的元素。

 

同样的，更新电影特征矩阵$M$的公式为：

$$\\mathbf{m}_j=A_j^{-1}V_j,\\forall j$$

其中，$A_j=U_{I_j}U_{I_j}^T+\\lambda n_{m_j}E$，$V_j=U_{I_j}R(I_j,j)$。$U_{I_j}$是用户特征矩阵$U$的子矩阵，其中只选取$i\\in I_j$的列。$I_j$表示对电影$j$评过分的用户集合。$R(I_j,j)$是原始user-movie矩阵$R$的第$j$列向量，该列中只选取$i\\in I_j$的行中的元素。

设用户矩阵和电影矩阵的特征数量为$n_f$，对电影$j$评过分的用户有$k$个，则$U_{I_j}$为一个$n_f\\times k$的矩阵，$R(I_j,j)$为一个$k\\times 1$的列向量。$V_j=U_{I_j}R(I_j,j)$为一个$f\\times k \\cdot k\\times 1=f\\times 1$的矩阵。

 

设用户数量$n_u=3$，电影数量$n_m=4$，用户以及电影的特征维度$n_f=2$。则user-movie评分矩阵$R$(Rating)为：

$$R=\\begin{bmatrix}
r_{11} & r_{12} & r_{13} & r_{14} \\\\
r_{21} & r_{22} & r_{23} & r_{24} \\\\
r_{31} & r_{32} & r_{33} & r_{34}
\\end{bmatrix}$$

若矩阵$R$是稀疏的，那么其形式可能如下：
$$R=\\begin{bmatrix}
& r_{12} & r_{13}  & r_{14} \\\\
r_{21} & & & r_{24} \\\\
& r_{32} & r_{33} &
\\end{bmatrix}$$

用户特征矩阵$U$为：
$$U=\\begin{bmatrix}
u_{11} & u_{12} & u_{13} \\\\
u_{21} & u_{22} & u_{23}
\\end{bmatrix}$$

电影特征矩阵$M$为：
$$M=\\begin{bmatrix}
m_{11} & m_{12} & m_{13} & m_{14} \\\\
m_{21} & m_{22} & m_{23} & m_{24}
\\end{bmatrix}$$

显然，我们要求解的是用户特征矩阵$U$和电影特征矩阵$M$。

求解用户特征矩阵$U$的时候要固定电影特征矩阵$M$，用求得的$U$再去求$M$，如此迭代，直到$RMSE$在设定范围之内即可，此时$U$和$M$收敛到一个局部最优解。

可将$U$表为$U=[\\mathbf{u}_i], i=1,2,3$。即：
$$U=
\\begin{bmatrix}
\\mathbf{u}_1 & \\mathbf{u}_2& \\mathbf{u}_3
\\end{bmatrix}
$$

 

调用上面的求解公式$\\mathbf{u}_i=A_i^{-1}V_i$，其中$A_i=M_{I_i}M_{I_i}^T+\\lambda n_{u_i}E$ ，$V_i=M_{I_i}R^T(i,I_i)$，则：
$$\\mathbf{u}_1=A_1^{-1}V_1$$
以上面的稀疏矩阵为例，求解$[\\mathbf{u}_i], i=1,2,3$时，$I_1=\\{2,3,4\\}$，$I_2=\\{1,4\\}$，$I_3=\\{2,3\\}$。$n_{u_1}=3$，表示用户$u_1$评过分的电影有3部，设用户$u_i$评过分的电影有$k$部，那么$I_i$的个数为$k$，$M_{I_i}$为一个$n_f \\times k$的矩阵，$M_{I_i}M_{I_i}^T$为一个$n_f \\times n_f$的矩阵。$R(i,I_i)$为$u_i$所对应的评分向量，该向量的维度为$k$，因为只取了$j \\in I_i$中的元素，所以$R(i,I_i)$为$1 \\times k$行向量，$R^T(i,I_i)$为$k \\times 1$列向量。

例如：
$$
\\begin{align*}
A_1 &= M_{I_1}M_{I_1}^T+\\lambda n_{u_1}E \\\\
&= \\begin{bmatrix}
m_{12} & m_{13} & m_{14} \\\\
m_{22} & m_{23} & m_{24}
\\end{bmatrix}
\\cdot
\\begin{bmatrix}
m_{12} & m_{22} \\\\
m_{13} & m_{23} \\\\
m_{14} & m_{24}
\\end{bmatrix}
+\\lambda n_{u_1}
\\cdot
\\begin{bmatrix}
1 & 0 \\\\
0 & 1
\\end{bmatrix} \\\\
\\\\
V_1 &= M_{I_1}R^T(1,I_1) \\\\
&= \\begin{bmatrix}
m_{12} & m_{13} & m_{14} \\\\
m_{22} & m_{23} & m_{24}
\\end{bmatrix}
\\cdot
\\begin{bmatrix}
r_{12} & r_{13} & r_{14}
\\end{bmatrix}^T \\\\
&= \\begin{bmatrix}
m_{12} & m_{13} & m_{14} \\\\
m_{22} & m_{23} & m_{24}
\\end{bmatrix}
\\cdot
\\begin{bmatrix}
r_{12} \\\\
r_{13} \\\\
r_{14}
\\end{bmatrix}
\\end{align*}
$$

这样即可求出$\\mathbf{u}_1$，类似可求出$\\mathbf{u}_2, \\mathbf{u}_3$

 

好了，这样就求出了$U$，此时在用$U$去求解$M$，求解公式为：$\\mathbf{m}_j=A_j^{-1}V_j,\\forall j$。其中，$A_j=U_{I_j}U_{I_j}^T+\\lambda n_{m_j}E$，$V_j=U_{I_j}R(I_j,j)$。需要注意的是这里的$I_j$与上面的$I_i$指代的内容有所区别，上面的$I_i$表示用户$u_i$所评分的电影集合，$I_i$中的元素个数小于等于电影的总数，即$size(I_i)\\le n_m$，而这里的$I_j$表示对电影$j$评过分的用户个数，所以$I_j$中的元素个数小于等于用户的总数，即$size(I_j)\\le n_u$。

这次以求解$\\mathbf{m}_3$为例。$I_3=\\{1,3\\}$，$n_{m_3}=2$表示给电影$m_3$评过分的用户有2个。

$$
\\begin{align*}
A_3 &= U_{I_3}U_{I_3}^T+\\lambda n_{m_3}E \\\\
&= \\begin{bmatrix}
u_{11} & u_{13} \\\\
u_{21} & u_{23}
\\end{bmatrix}
\\cdot
\\begin{bmatrix}
u_{11} & u_{13} \\\\
u_{21} & u_{23}
\\end{bmatrix}^T
+\\lambda n_{m_3}
\\cdot
\\begin{bmatrix}
1 & 0 \\\\
0 & 1
\\end{bmatrix}\\\\
\\\\
V_3 &=U_{I_j}R(I_j,j) \\\\
&＝\\begin{bmatrix}
u_{11} & u_{13} \\\\
u_{21} & u_{23}
\\end{bmatrix}
\\cdot
\\begin{bmatrix}
r_{13} \\\\
r_{33}
\\end{bmatrix}
\\end{align*}
$$

 

如此，便可求出$\\mathbf{m}_3=A_3^{-1}V_3$。类似可求出$\\mathbf{m}_1, \\mathbf{m}_2, \\mathbf{m}_4$。

 

 

原始论文：http://www.grappa.univ-lille3.fr/~mary/cours/stats/centrale/reco/paper/MatrixFactorizationALS.pdf