andrew ng machine learning week9 异常检测和推荐系统

Posted 2021-01-16 twomeng

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了andrew ng machine learning week9 异常检测和推荐系统相关的知识，希望对你有一定的参考价值。

异常检测

技术分享图片

概率分布的角度：通过判断某个样本的概率分部值和阈值的关系判断是不是异常样本

技术分享图片

异常检测的应用：

1. 在线购物网站如何识别异常用户（欺诈行为或者被盗号）

2. 制造业

3. 检测计算机的运行情况

技术分享图片

高斯分布

技术分享图片

技术分享图片

高斯分布开发异常检测算法

技术分享图片

步骤

1. 选择一些异常的特征

2. 计算均值和方差，对于每一个特征来进行计算

技术分享图片

在这个三维立体图中，越高的地方是正常的地方，异常区则是接近平面0的这些点

技术分享图片

如何开发一个关于异常检测的应用

实数评价法的重要性：

技术分享图片

不建议把交叉集和测试集混在一起使用

技术分享图片

算法的评估过程

常用的查准率和召回率、f1-score

技术分享图片

什么时候用异常检测什么时候用监督学习算法

1. 正样本数目小

2. 大量的负样本

3. 许多不同的异常类型

技术分享图片

技术分享图片

如何设计或选择异常检测算法的特征变量

非高斯特征变量第二种可以通过转换的方式转成钟型曲线

技术分享图片

误差分析步骤

看看没能归为异常的点，看能否启发创建新的特征变量

技术分享图片

选择特征变量的办法：

不会特别大也不会特别小的值，或者相互组合形成新的特征变量

技术分享图片

多元高斯分布

这个×的两个P值都在正常范围内，所以之前的异常检测算法并不能检测出这个错误的绿×

技术分享图片

多元高斯的概率公式

技术分享图片

协方差矩阵增大和减小所对应的图

技术分享图片

仅仅减小一个协方差矩阵的变化

技术分享图片

增加对角线上的值的变化

技术分享图片

设置为负值的变化

技术分享图片

改变u值这个圈圈的中心点会移动

技术分享图片

多元高斯的自动检测算法

技术分享图片

技术分享图片

和原始模型之间的关系

多元高斯函数的协方差矩阵的对角线是特征变量的方差组成，并且其他部分都是0

技术分享图片

什么时候选择原始什么时候选择高斯模型？

原始的模型使用地更多，运算量更小

m 远远大于 n 的时候使用多元

协方差矩阵奇异：用于特征项梁或者没满足m>>n的条件

技术分享图片

推荐算法

技术分享图片

基于内容的推荐系统

技术分享图片

技术分享图片

技术分享图片

技术分享图片

协同过滤

技术分享图片

技术分享图片

这个视频和上一个视频的区别：

技术分享图片

用户的特征、电影的特征如何结合在一起可以同时地计算出来呢？

一个是对于评价某电影的全部用户的求和，一个是某个用户看过的全部电影的求和，也就是所有r(i,j)wei 1de qiuhe

然后就是两个正则项的相加

技术分享图片

初始化

梯度下降法计算参数

技术分享图片

协同过滤算法的向量化实现过程

技术分享图片

低秩矩阵分解

技术分享图片

两部电影的特征向量非常相似则我们说这两部电影非常相似

技术分享图片

技术分享图片

技术分享图片

以上是关于andrew ng machine learning week9 异常检测和推荐系统的主要内容，如果未能解决你的问题，请参考以下文章