判别分析（Fisher判别方法）

Posted 2023-03-09

参考技术A

20210308 未完更新中

为了克服“维数灾难”，人们将高维数据投影到低维空间上来，并保持必要的特征，这样，一方面数据点变得比较密集一些，另一方面，可以在低维空间上进行研究。

Fisher判别分析的基本思想 ：选取适当的投影方向，将样本数据进行投影，使得投影后各样本点尽可能分离开来，即：使得投影后各样本 类内 离差平方和尽可能小，而使各样本 类间 的离差平方和尽可能大。

①设已知有两个类 和 ，在已知的数据中， 类有 个个体， 类有 个个体，即：

注意：个体 为列向量，列向量的元素为不同特征的具体数值。如，小明身高180，体重70，可以设小明这个个体为
②计算两个类的 均值 ：
  
③计算两个类的 类内离差平方和 矩阵：

总的离差阵为
类间离差阵为
④设需要找的投影向量为 ，将所有的个体 投影到 方向上，则可以得到投影后的结果为 ，即：
第一类个体在 方向上的投影结果为： ；
第二类个体在 方向上的投影结果为： ；
⑤计算投影后两类的均值与类内离差平方和矩阵

总离差：

类间方差：

⑥要使得在新的（投影后）数据空间中，数据的分离性能最好，即要使得两个类的类内距离最小，类间距离最大，建立目标函数 ，希望找到合适的投影向量 ，使得目标函数 达到最大。

采用Lagrange乘数法求解。令分母等于非零常数，即：

定义lagrange函数为

对 求偏导得

又矩阵 与 是对称矩阵，因此，上式可化简为

令 ，有

记上式得解为 ，则

继续化简有：

两边同时左乘 得：

因此， 即为矩阵 的最大特征值对应的特征向量

又

故

又 为一标量，因此
记

则

而标量 并不会影响 的投影方向。
综上所述， 的解为