机器学习——降维（主成分分析PCA线性判别分析LDA奇异值分解SVD局部线性嵌入LLE）

Posted 2021-02-16 erma

机器学习——降维（主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE）

以下资料并非本人原创，因为觉得石头写的好，所以才转发备忘

(主成分分析（PCA）原理总结)[https://mp.weixin.qq.com/s/XuXK4inb9Yi-4ELCe_i0EA]
来源：?石头?机器学习算法那些事?3月1日
主成分分析（Principal components analysis，以下简称PCA）是最常用的降维方法之一，在数据压缩和消除冗余方面具有广泛的应用，本文由浅入深的对其降维原理进行了详细总结。

目录

1.向量投影和矩阵投影的含义

1. 向量降维和矩阵降维的含义
2. 基向量选择算法
3. 基向量个数的确定
4. 中心化的作用
5. PCA算法流程
6. PCA算法总结

(线性判别分析（LDA）原理总结)[https://mp.weixin.qq.com/s/7H5-piL6ywHXgoxTXvJnNA]
来源：?石头?机器学习算法那些事?3月1日
前言

线性判别分析（Linear Discriminant Analysis，以下简称LDA）是有监督的降维方法，在模式识别和机器学习领域中常用来降维。PCA是基于最大投影方差或最小投影距离的降维方法，LDA是基于最佳分类方案的降维方法，本文对其原理进行了详细总结。

目录

1. PCA与LDA降维原理对比
2. 二类LDA算法推导
3. 多类LDA算法推导
4. LDA算法流程
5. 正态性假设
6. LDA分类算法
7. LDA小结
   (奇异值分解（SVD）原理总结)[https://mp.weixin.qq.com/s/ESl7TxxfuYzjscyfJWLisw]
   来源：?石头?机器学习算法那些事?3月1日
   前言

奇异值分解（SVD）在降维，数据压缩，推荐系统等有广泛的应用，任何矩阵都可以进行奇异值分解，本文通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法，以及用协方差含义去理解行降维和列降维，最后介绍了SVD的数据压缩原理 。

目录

1. 正交变换
2. 特征值分解含义
3. 奇异值分解
4. 奇异值分解例子
5. 行降维和列降维
6. 数据压缩
7. SVD总结

局部线性嵌入（LLE）原理总结
来源：?石头?机器学习算法那些事?3月1日
相关文章推荐：
主成分分析（PCA）原理总结
奇异值分解（SVD）原理总结
scikit-learn中PCA的使用方法
LLE参考资料下载：
链接:?
https://pan.baidu.com/s/1Ht01oCGpUjL7rCX5bAhnYg
提取码: 62wq?
LLE是一种非监督式的降维方法，与PCA降维方法相比，LLE降维后保持了初始样本间的局部关系。PCA是基于投影的最大方差的线性投影，在介绍LLE原理之前，我们首先用几张图看看PCA的降维效果：
目录

1. LLE算法原理
2. LLE算法推导
3. LLE算法流程
   4.?K近邻空间大于输入数据的维数D的情况分析
4. 小结

视频资料

(白板推导系列，数学原理了然于胸)[https://www.bilibili.com/video/av32709936/?p=3&t=291]
(资料推荐系列)[https://www.bilibili.com/video/av31971102]