Fisher线性判别

Posted 2023-03-09

参考技术A 答：

（1）考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。

（2）然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，当把它们投影到一条直线上时，也可能会是几类样本混在一起而变得无法识别。

（3）但是，在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分得开。

假设有一集合包含 个 维样本 ，若对 的分量做线性组合可得标量：

这样便得到 个一维样本 组成的集合。实际上， 的值是无关紧要的，它仅是 乘上一个比例因子，重要的是选择w的方向。 的方向不同，将使样本投影后的可分离程度不同，从而直接影响的分类效果。
因此，上述寻找最佳投影方向的问题，在数学上就是寻找最好的变换向量 的问题

其中 是类间离散度矩阵， 为类内离散度矩阵。
解：

其中： 和 为两类的均值。
附：

维 空间

(1)样本均值：

(2)类内离散度矩阵：

(3)类间离散度矩阵：

1维 空间
(1)样本均值

(2)类内离散度矩阵：

定义：

分子为均值之差，分母为样本在Y上类内离散度，应该使得分子尽可能大而分母尽可能小。
则分子可以化为：

同理，分母可以化为
则总体可以写为：

使用拉格朗日乘子法，令分母等于非零常数:

定义拉格朗日函数为：

令偏导数为零：

即：

其中 就是 的极值解。因为 非奇异，将上式两边左乘 ，可得：

上式为求一般矩阵 的特征值问题。利用 的定义，将上式左边的 写成：

其中 为一标量，所以 总在向量 的方向上。因此 可以写成：

从而可得：

因为目的是选择最佳投影方向，因此比例因子无影响，忽略比例因子 ，得到：