模式识别（Pattern Recognition）学习笔记（三十五）-- K-L变换与PCA

Posted 2020-07-28 eternity1118_

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了模式识别（Pattern Recognition）学习笔记（三十五）-- K-L变换与PCA相关的知识，希望对你有一定的参考价值。

K-L变换的理论知识

K-L变换是除了PCA外的另一种常用的特征提取方法，它有很多种形式，最基本的形式跟PCA类似，它跟PCA的不同在于，PCA是一种无监督的特征变换，而K-L变换能够考虑到不同的分类信息，实现有监督的特征提取。

根据随机过程中的KL展开理论，将随机过程描述为无数个正交函数的线性组合，而在模式识别问题中，通常可以将一个样本看成是随机向量的某一次实现结果，所以假设有一d维随机向量x，可以写成一组正交基 $\sigma_{i} ,i = 1,\cdots ,\infty$ 的线性组合，且它们的模为1：

$x=\sum_{i=1}^{\infty }y_{i}\sigma_{i}$

对上式变形得到：

$y_{i}=\sigma_{i}^{T}x$ （初见K-L变换，通常需要先对样本进行零均值化或平移）

假设有用信息就集中在其中的q维上，那么现在我们来尝试用着q维去近似x：

${x}'=\sum_{i=1}^{q}y_{i}\sigma_{i}$

近似前后样本向量的差向量为： $x-{x}'$

考查上述差向量的均方误差（MSE）为：

$e=E\left \{ (x-{x}')(x-{x}')^{T} \right \}=E\left \{ (\sum_{i=q+1}^{\infty }y_{i}\sigma_{i})(\sum_{i=q+1}^{\infty }y_{i}\sigma_{i})^{T} \right \}=E\left \{ \sum_{i=q+1}^{\infty }y_{i}y_{i}^{T} \right \}=\sum_{i=q+1}^{\infty }\sigma_{i}^{T}E\left \{ xx^{T} \right \}\sigma_{i}=\sum_{i=q+1}^{\infty }\sigma_{i}^{T}\Sigma_{X} \sigma_{i}$

以上是关于模式识别（Pattern Recognition）学习笔记（三十五）-- K-L变换与PCA的主要内容，如果未能解决你的问题，请参考以下文章

模式识别原理（Pattern Recognition）概念系统特征选择和特征

模式识别（Pattern Recognition）学习笔记（三十）--随机森林（Random Forest）

模式识别（Pattern Recognition）学习笔记（二十八）-- 决策树

模式识别（Pattern Recognition）学习笔记（二十九）--决策树的剪枝

模式识别（Pattern Recognition）学习笔记（三十五）-- K-L变换与PCA

模式识别（Pattern Recognition）学习笔记（二十七）-- 基于树搜索算法的快速近邻法