详解主成分分析PCA

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了详解主成分分析PCA相关的知识,希望对你有一定的参考价值。

参考技术A

主成分分析( Principal components analysis),简称PCA,是最主要的数据降维方法之一。本文从PCA的思想开始,一步一步推导PCA。

对于 , 。我们希望 从 维降到 维,同时希望信息损失最少。比如,从 维降到 :

我们既可以降维到第一主成分轴,也可以降维到第二主成分轴。那么如何找到这这些主成分轴并且选择最优成分轴呢?

直观上,第一主成分轴 优于 第二主成分轴,即具有最大可分性。
下面解决一些基本概念。

欲获得原始数据新的表示空间,最简单的方法是对原始数据进行线性变换(基变换):

其中 是原始样本, 是基向量, 是新表达。

数学表达:

其中 是行向量,表示第 个基, 是一个列向量,表示第 个原始数据记录.
当 时即 基的维度 < 数据维度时,可达到降维的目的。即:

以直角坐标系下的点(3,2)为例,欲将点(3,2)变换为新基上的坐标,就是用(3,2)与第一个基做内积运算,作为第一个新的坐标分量,然后用(3,2)与第二个基做内积运算,作为第二个新坐标的分量。

可以稍微推广一下,如果我们有m个二维向量,只要将二维向量按列排成一个两行m列矩阵,然后用“基矩阵”乘以这个矩阵,就得到了所有这些向量在新基下的值。例如(1,1),(2,2),(3,3),想变换到刚才那组基上,则可以这样表示:

回顾一下,我们的目的是希望在降维过程中损失最少,换言之,我们希望投影后的数据尽可能分散开。这种分散程度可以用方差来表达, 方差 越大,数据越分散。

随机变量 表达了 的取值与其数学期望之间的偏离程度。若 较小,意味着 的取值主要集中在期望 也就是 的附近,反之,若 较大,意味着 的取值比较分散。

为了避免过于抽象,我们以一个具体的例子展开。假设我们5个样本数据,分别是 ,将它们表示成矩阵形式:

为了后续处理方便,我们首先将每个字段内所有值都减去字段均值,其结果是将每个字段都变为均值为0.

我们看上面的数据,设第一个特征为 ,第二个特征为 , 此时某一个样本可以写作:
且特征 的均值为2, 特征 的均值为3,所以变换后:

协方差 (Covariance)在 概率论 和 统计学 中用于衡量两个变量的总体 误差 。

比如对于二维随机变量 ,特征 除了自身的数学期望和方差,还需要讨论 之间互相关系的数学特征。

当 时,变量 完全独立,这也是我们希望达到的优化目标。

方差 是协方差的一种特殊情况,即当两个变量是相同的情况:

对于 二维 随机变量 ,

对于 n维 随机变量 ,

可见,协方差矩阵是 行 列的对称矩阵,主对角线上是方差,而协对角线上是协方差。

依然我们以一个具体的例子展开,还是这5个样本数据, , ,将它们去中心化后表示成矩阵形式:

那如果有 个样本的话,

对 做一些变换,用 乘以 的转置,并乘上系数1/m:

这不正是协方差矩阵嘛!

现在我们可以说:

回顾一下:

设 的协方差矩阵为 , 的协方差矩阵为 ,且 。






我们要找的 不是别的,而是能让原始协方差矩阵对角化的 。

现在所有焦点都聚焦在了 协方差矩阵对角化 问题上。

由上文知道,协方差矩阵 是一个是对称矩阵,在线性代数上,实对称矩阵有一系列非常好的性质:

1)实对称矩阵不同特征值对应的特征向量必然正交。

2)设特征向量 重数为 ,则必然存在 个线性无关的特征向量对应于 ,因此可以将这 个特征向量单位正交化。

由上面两条可知,一个 行 列的实对称矩阵一定可以找到 个单位正交特征向量,设这 个特征向量为 ,我们将其按列组成矩阵:

则对协方差矩阵 有如下结论:

其中 为对角矩阵,其对角元素为各特征向量对应的特征值(可能有重复)。

结合上面的公式:

其中, 为对角矩阵,我们可以得到:

是协方差矩阵 的特征向量单位化后按行排列出的矩阵,其中每一行都是 的一个特征向量。如果设 按照 中特征值的从大到小,将特征向量从上到下排列,则用 的前 行组成的矩阵乘以原始数据矩阵 ,就得到了我们需要的降维后的数据矩阵 。

总结一下PCA的算法步骤:

设有 条 维数据。

1)将原始数据按列组成 行 列矩阵X

2)将 的每一行(代表一个特征)进行零均值化,即减去这一行的均值

3)求出协方差矩阵

4)求出协方差矩阵 的特征值及对应的特征向量

5)将特征向量按对应特征值大小从上到下按行排列成矩阵,取前 行组成矩阵

6) 即为降维到 维后的数据

这里以上文提到的:
,将它们表示成矩阵形式:

我们用PCA方法将这组二维数据其降到一维。

为了后续处理方便,我们首先将每个特征内所有值都减去字段均值,其结果是将每个字段都变为均值为0.

因为这个矩阵的每行已经是零均值,这里我们直接求协方差矩阵:

对于矩阵 :

和 分别是特征值和特征向量,
,则:

为了使这个方程式有非零解,矩阵 的行列式必须是 0

即:

则:

分解得:

找到2个特征值, , ,

when :

即:

则:

和 可以取任意值,我们取归一化的 和 ,即: ,
此时 和

when :

即:

则:

和 可以取任意值,我们取归一化的 和 ,即:
此时 和

所以:

可以验证协方差矩阵C的对角化:

最后我们用 的第一行乘以数据矩阵,就得到了降维后的表示:

降维投影结果如下图:

以上是关于详解主成分分析PCA的主要内容,如果未能解决你的问题,请参考以下文章

主成分分析(PCA)详解

05-03 主成分分析(PCA)

主成分分析(PCA)

主成分分析(PCA)原理详解

主成分分析(PCA)

主成分分析(PCA)