线性判别分析（LDA）

Posted 2023-03-13

参考技术A 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的有监督数据降维方法。LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。如下图将二维数据投影到一维直线上：

上图提供了两种方式，哪一种投影方式更好呢？从图上可以直观的看出右边的比左边的投影后分类的效果好，因此右边的投影方式是一种更好地降维方式。

上图直观的给出了LDA分类的主要思想，下图通过数学公式来推导如何得到这个最佳的投影方式。

为了方便解释LDA的原理，我们以二分类为例。

假设现有数据集 D = (x 1 , y 1 ), (x 1 , y 1 ), ... ,(x m , y m )，其中任意样本x i 为n维向量。定义N j 为第j类样本的个数，X j 为第j类样本的集合，而μ j 为第j类样本的均值向量，Σ𝑗(𝑗=0,1)为第j类样本的"方差"。

因此，原始均值μ j 和投影后的均值μ' j 的表达式为分别为：

而"方差"则为：

根据上面LDA主要思想的描述我们的目标就是要投影后最大化类间均值差同时最小化类内方差大小。因此目标函数如下：

上式中，分子表示不同类别均值之差，分母表示不同类别方差之和，因此我们的目标就是最大化J(w)即可。

其中，对于分母：

对于分子：

对J(w)的求解过程如下：

输入：数据集 D = (x 1 , y 1 ), (x 1 , y 1 ), ... ,(x m , y m )，任意样本x i 为n维向量，y i ∈C1, C2, ... , Ck，共k个类别。现在要将其降维到d维；
输出：降维后的数据集D'。

参考：
线性判别分析LDA原理总结
史上最好的LDA(线性判别分析)教程

线性判别分析LDA的核心思想LDA的数学形式LDA的优缺点

线性判别分析、LDA的核心思想、LDA的数学形式、LDA的优缺点

目录

线性判别分析、LDA的核心思想、LDA的数学形式、LDA的优缺点

线性判别分析