SVD(singular value decomposition)应用——推荐系统中

Posted 2020-10-31 ~天天向上~

参考自：http://www.igvita.com/2007/01/15/svd-recommendation-system-in-ruby/

    看到SVD用于推荐评分矩阵的分解，主要是可以根据所需因子实现降维，最终造成的是有损的降维压缩，此处k=2

 

一、对于矩阵的奇异值分解

任意一个M*N的矩阵A（M行*N列，M>N），可以被写成三个矩阵的乘积：

1. U：（M行M列的列正交矩阵）

2. S：（M*N的对角线矩阵，矩阵元素非负）

3. V：（N*N的正交矩阵的倒置）

即 A=U*S*V\'（注意矩阵V需要倒置）

直观地说：

假设我们有一个矩阵，该矩阵每一列代表一个user，每一行代表一个item。

如上图，ben,tom….代表user，season n代表item。

矩阵值代表评分（0代表未评分）：

如 ben对season1评分为5，tom对season1 评分为5，tom对season2未评分。

机器学习和信息检索：

机器学习的一个最根本也是最有趣的特性是数据压缩概念的相关性。

如果我们能够从数据中抽取某些有意义的感念，则我们能用更少的比特位来表述这个数据。

从信息论的角度则是数据之间存在相关性，则有可压缩性。

SVD就是用来将一个大的矩阵以降低维数的方式进行有损地压缩。

降维：

下面我们将用一个具体的例子展示svd的具体过程。

首先是A矩阵。

A =

     5     5     0     5
     5     0     3     4
     3     4     0     3
     0     0     5     3
     5     4     4     5
     5     4     5     5

（代表上图的评分矩阵）

使用python调用svd函数：

from numpy import *
import numpy as np
A=array([[5,5,0,5],[5,0,3,4],[3,4,0,3],[0,0,5,3],[5,4,4,5]])
U,S,V=linalg.svd(A)
print(U[:,0:2])
print(S[0:2])
print(transpose(V[0:2,:]))

结果为

[-0.35306958 -0.36720805]
[-0.22638915 0.717629 ]
[-0.59629428 0.14214909]]
[15.03731961 6.22771342]
[[-0.58807167 -0.17873492]
[-0.43226781 -0.52344675]
[-0.31767041 0.8252125 ]
[-0.6053113 0.11437508]]

 

正常的奇异值分解结果为

[[-0.54053874 -0.4719281 -0.0544475 -0.5220922 -0.4577739 ]
[-0.41992954 0.32748187 0.80778125 -0.13363768 0.21458152]
[-0.35306958 -0.36720805 -0.25275349 0.00260059 0.82256247]
[-0.22638915 0.717629 -0.49794725 -0.42507526 0.07152717]
[-0.59629428 0.14214909 -0.18080134 0.72723103 -0.2503451 ]]
[15.03731961 6.22771342 3.01939334 0.98887228]
[[-0.58807167 -0.17873492 0.69696172 0.36941833]
[-0.43226781 -0.52344675 -0.66452317 0.31234116]
[-0.31767041 0.8252125 -0.26150878 0.38694056]
[-0.6053113 0.11437508 -0.06531823 -0.78501599]]

分解矩阵之后我们首先需要明白S的意义。

可以看到S很特别，是个对角线矩阵。

每个元素非负，而且依次减小，具体要讲明白元素值的意思大概和线性代数的特征向量，特征值有关。

但是可以大致理解如下：

在线性空间里，每个向量代表一个方向。

所以特征值是代表该矩阵向着该特征值对应的特征向量的方向的变化权重。

所以可以取S对角线上前k个元素。

当k=2时候即将S(6*4)降维成S(2*2)，

同时U(6*6),Vtranspose(4*4)相应地变为 U(6*2),Vtranspose(4*2).

 最后根据降维结果在相乘，得到矩阵与原矩阵有差别。这就是之前说的降维可以看成一种数据的有损压缩。

接下来我们开始分析该矩阵中数据的相关性。

我们将u的第一列当成x值，第二列当成y值。即u的每一行用一个二维向量表示，同理v的每一行也用一个二维向量表示。

如下图：

从图中可以看出:

Season5，Season6特别靠近。Ben和Fred也特别靠近。

同时我们仔细看一下A矩阵可以发现，A矩阵的第5行向量和第6行向量特别相似，Ben所在的列向量和Fred所在的列向量也特别相似。

所以从直观上我们发现U矩阵和V矩阵可以近似来代表A矩阵，换据话说就是将A矩阵压缩成U矩阵和V矩阵，至于压缩比例得看当时对S矩阵取前k个数的k值是多少。

到这里，我们已经完成了一半。

寻找相似用户：

依然用实例来说明：

我们假设，现在有个名字叫Bob的新用户，并且已知这个用户对season n的评分向量为：[5 5 0 0 0 5]。（此向量为列向量）

我们的任务是要对他做出个性化的推荐。

我们的思路首先是利用新用户的评分向量找出该用户的相似用户。

如上图（图中第二行式子有错误，Bob的转置应为行向量）。

对图中公式不做证明，只需要知道结论，结论是得到一个Bob的二维向量，即知道Bob的坐标。

将Bob坐标添加进原来的图中：

然后从图中找出和Bob最相似的用户。

注意，最相似并不是距离最近的用户，这里的相似用余弦相似度计算。（关于相似度还有很多种计算方法，各有优缺点）

即夹角与Bob最小的用户坐标。

可以计算出最相似的用户是ben。

接下来的推荐策略就完全取决于个人选择了。

这里介绍一个非常简单的推荐策略：

找出最相似的用户，即ben。

观察ben的评分向量为：【5 5 3 0 5 5】。

对比Bob的评分向量：【5 5 0 0 0 5】。

然后找出ben评分过而Bob未评分的item并排序，即【season 5：5，season 3：3】。

即推荐给Bob的item依次为 season5 和 season3。

最后还有一些关于整个推荐思路的可改进的地方：

1.svd本身就是时间复杂度高的计算过程，如果数据量大的情况恐怕时间消耗无法忍受。 不过可以使用梯度下降等机器学习的相关方法来进行近似计算，以减少时间消耗。

2.相似度计算方法的选择，有多种相似度计算方法，每种都有对应优缺点，对针对不同场景使用最适合的相似度计算方法。

3.推荐策略：首先是相似用户可以多个，每个由相似度作为权重来共同影响推荐的item的评分。