机器学习- 吴恩达Andrew Ng Week9 知识总结 Recommender Systems

Posted 2021-07-28 架构师易筋

Coursera课程地址

因为Coursera的课程还有考试和论坛，后续的笔记是基于Coursera
https://www.coursera.org/learn/machine-learning/home/welcome

Recommender Systems 推荐系统

1. 问题制定 Problem formulation

推荐是目前非常流行的机器学习应用。

假设我们正在尝试向客户推荐电影。我们可以使用以下定义

• n(u) = 用户数
• n(m) = 电影数量
• r(i,j) = 1 如果用户 j 对电影 i 进行了评分
• y(i,j) = 用户 j 对电影 i 的评分（仅在 r(i,j)=1 时定义）

2. 基于内容的推荐 Content-based recommendations

我们可以介绍两个特点，X(1) 和 X(2) 它表示一部电影可能有多少浪漫或多少动作（在 0-1 的范围内）。

一种方法是我们可以对每个用户进行线性回归。对于每个用户 j，学习一个参数 θ(j) ∈ R(3)

• θ(j) = 用户 j 的参数向量

• x(i) = 电影 i 的特征向量
  对于用户 j，电影 i，预测评分：
  

• θ(j) = 用户 j 评分的电影数量

学习θ(j) 我们做以下

这就是我们熟悉的线性回归。第一个求和的基础是选择所有 i 使得 r(i, j) = 1.

要获取所有用户的参数，我们执行以下操作：

我们可以使用上述成本函数应用我们的线性回归梯度下降更新。

唯一真正的区别是我们消除了常数 1/m

3. 协同过滤 Collaborative filtering

在电影中找到诸如“浪漫的数量”或“动作的数量”之类的特征可能非常困难。为了解决这个问题，我们可以使用特征查找器。

我们可以让用户告诉我们他们对不同类型的喜欢程度，立即为我们提供他们的参数向量。

为了从给定参数推断特征，我们使用对所有用户进行正则化的平方误差函数：

您还可以随机猜测theta 的值以重复猜测特征。你实际上会收敛到一组好的特征。

4. 协同过滤算法 Collaborative filtering algorithm

为了加快速度，我们可以同时最小化我们的特征和参数：

看起来很复杂，但我们只结合了 theta 的成本函数和 x 的成本函数。

因为算法可以自己学习它们，x0=1 的偏置单元已经被去除，因此 x∈ℝn 和 θ∈ℝn。

这些是算法中的步骤：

1. 初始化 X(i), …, X(nm), θ(i), …, θ(nu) 到小的随机值。这有助于打破对称性并确保算法学习特征 X(i), …, X(ni) 彼此不同。

2. 最小化 J(X(i),… X(nm), θ(i), …, θ(nu)) 用梯度下降（或高级优化算法）。
   

3. 对于具有参数 θ 的用户和具有（学习）特征 x 的电影，预测星级评分 (θ^T) * X.

5. 矢量化：低秩矩阵分解 Vectorization: Low rank matrix factorization

给定矩阵 X（每行包含特定电影的特征）和 Θ（每行包含给定用户的这些特征的权重），则所有用户对所有电影的所有预测评分的完整矩阵 Y 由下式给出：

可以使用它们各自的特征向量 x 之间的距离来预测两部电影 i 和 j 的相似程度。具体来说，我们正在寻找一个小的值||x(i) - x(j)|| .

6. 实现细节：均值归一化 Implementational detail: Mean normalization

如果使用之前讲座中的电影排名系统，那么新用户（没有看过电影）将错误地分配新电影。具体来说，由于正则化项的最小化，它们将被分配 θ，所有分量都为零。也就是说，我们假设新用户将对所有电影进行排名 0，这在直观上似乎并不正确。

我们通过相对于均值对数据进行归一化来纠正这个问题。首先，我们使用矩阵 Y 来存储来自先前评分的数据，其中 Y 的第 i 行是第 i 部电影的评分，第 j 列对应于第 j 个用户的评分。

我们现在可以定义一个向量

μ= [μ1, μ2, ..., μnm]

以至于

这实际上是第 i 部电影的先前评分的平均值（其中仅计算用户观看过的电影）。我们现在可以通过从每个用户的实际评分（矩阵 Y 中的列）中减去 u（平均评分）来标准化数据：

例如，考虑以下矩阵 Y 和平均评分 μ：

得到的 Y’ 向量为：

现在我们必须稍微修改线性回归预测以包括平均归一化项：

现在，对于新用户，初始预测值将等于 μ 项，而不是简单地初始化为零，这样更准确。

#pic_center =600x

参考

https://www.coursera.org/learn/machine-learning/resources/szFCa
https://www.coursera.org/learn/machine-learning/supplement/gXdW5/lecture-slides