PCA-3 通过奇异值分解来求主成分

Posted 2021-07-15 丘文波

这篇读书笔记介绍一下如何通过奇异值分解来求解样本主成分

1. 问题的变形

样本$X$的主成分求解，归结于求样本矩阵$X$的协方差矩阵 $S_X$ 的特征值和对应的单位特征向量。其中
$$S_X=\frac{1}{n-1}X{X}^{\mathrm{T}}$$

令：
$$X^{\prime }=\frac{1}{\sqrt{n-1}}{X}^{\mathrm{T}}$$

则：
$$S_X=X^{\prime \mathrm{T}}{X}^{\prime }$$

所以问题转化为求矩阵 $X^{\prime \mathrm{T}}{X}^{\prime }$ 的特征值和对应的单位特征向量。

矩阵的奇异值分解有这样一个性质：
设矩阵 $A$ 的奇异值分解为 $A=U\Sigma V^{\mathrm{T}}$, 则有
$$\begin{array}{rl}{A}^{\mathrm{T}}A& =V\left({\Sigma }^{\mathrm{T}}\Sigma \right)V^{\mathrm{T}}\end{array}$$
其中的正交矩阵$V$的每一列是 $A^{\mathrm{T}}A$的特征向量，${\Sigma }^{\mathrm{T}}\Sigma$ 矩阵对对角线上的元素是 $A^{\mathrm{T}}A$的特征值。
即对称矩阵 $A^{\mathrm{T}}A$ 的特征分解(特征向量和特征值)以由矩阵 $A$ 的奇异值分解矩阵表示。

假设 $X^{\prime }$ 的截断奇异值分解为 $X^{\prime }=U\Sigma V^{\mathrm{T}}$, 那么 $V$ 的列向量就是 $S_X=X^{\prime \mathrm{T}}{X}^{\prime }$的单位特征向量。

**因此, $V$ 的每一个列向量对应 $X$ 的一个主成分。**于是，求 $X$ 主成分可以通过求 $X^{\prime }$ 的奇异值分解来实现。具体算法如下。

对矩阵$X^{\prime }$进行截断奇异值分解，保留K个奇异值，奇异向量，得到
$$X^{\prime }=US{V}^{\mathrm{T}}$$
V的每一列对应一个主成分，得到k*n 样本主成分矩阵Y
$$Y=V^{\mathrm{T}}X$$

参考资料

• 《统计学习方法》第15章，奇异值分解
• 《统计学习方法》第16章 , 主成分分析