降维算法中的线性判别方法LDA

Posted 2020-10-30

线性判别分析(Linear?Discriminant?Analysis,?LDA)，有时也称Fisher线性判别(Fisher?Linear?Discriminant?,FLD)，?这种算法是Ronald?Fisher?于?1936年发明的，是模式识别的经典算法。在1996年由Belhumeur引入模式识别和人工智能领域的。
基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离，即模式在该空间中有最佳的可分离性。