PCA和LDA的对比

Posted wumh7

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了PCA和LDA的对比相关的知识,希望对你有一定的参考价值。

PCA和LDA都是经典的降维算法。PCA是无监督的,也就是训练样本不需要标签;LDA是有监督的,也就是训练样本需要标签。PCA是去除掉原始数据中冗余的维度,而LDA是寻找一个维度,使得原始数据在该维度上投影后不同类别的数据尽可能分离开来。

PCA

PCA是一种正交投影,它的思想是使得原始数据在投影子空间的各个维度的方差最大。假设我们要将N维的数据投影到M维的空间上(M<N),根据PCA,我们首先求出这N维数据的协方差矩阵,然后求出其前M个最大的特征值所对应的特征向量,那么这M个特征向量即为所求的投影空间的基。

LDA

用一句话来概括LDA的思想就是,投影后类内方差最小,类间方差最大。如下图所示有两种投影方式,左边的投影后红色数据和蓝色数据还有重叠部分,右边的投影后红色数据和蓝色数据则刚好被分开。LDA的投影即类似右边的投影方式,投影后使得不同类别的数据尽可能分开,而相同类别的数据则尽可能紧凑地分布。

技术分享图片
图片来源于网络

Reference:

  1. https://blog.csdn.net/yaoqi_isee/article/details/71036320
  2. https://www.cnblogs.com/pinard/p/6244265.html

以上是关于PCA和LDA的对比的主要内容,如果未能解决你的问题,请参考以下文章

PCA和LDA

PCA和LDA

模式识别与机器学习——PCA与Kernel PCA介绍与对比

LDA和PCA降维的原理和区别

LDA和PCA降维总结

PCA与LDA