机器学习之主成分分析(手推公式版)

Posted 2021-06-07 夏小悠

文章目录

• • 前言
  • 1. 降维
  • 2. 奇异值分解SVD
  • • 2.1 紧奇异值分解
    • 2.2 截断奇异值分解
    • 2.3 几何解释
    • 2.4 代码实现
  • 3. 主成分分析PCA
  • 4. 代码实现
  • 结束语

前言

  主成分分析$(Principal$ $Component$ $Analysis,PCA)$是最常用的一种降维算法，它属于无监督学习方法，主要用于发现数据中的基本结构，即数据中变量(特征)之间的关系，是数据分析中超有力的工具。

1. 降维

  在开始之前，先说说何为数据的维度(Dimensions)，在我的理解中是这样的：
  对于二维数据，像Excel表格那样，它的shape是(m,n)，也就是m行n列，一般认为m行表示的就是m个样本，n列表示n个特征，这个时候维度就是n，降维就是压缩n，取个极限就是n被压缩到1，此时就是二维数据讲到了一位数据。
  对于三维数据，像图像那样，除了有高度(height)和宽度(weight)这两个维度外，还有通道(channel)，此时的降维就是空间映射，将三维空间映射到二维空间，说白了就是将数据从三维坐标系中转变到二维坐标系中。
  由于三维空间无法表示超过三维的高维空间，可以想象一下，对于更高维的数据，像深度学习中很常见的张量(batch,height,weight,channel)，以图像为例可以理解为(图像数量，图像的高度，图像的宽度，图像的通道数)，降维也是如此。

  标量$(scalar)$：一个数，零维数组，其shape为()，一般用小写字母表示$x$；
  向量$(vector)$：一列数，一维数组，其shape为(m,)，一般用加粗的小写字母表示$\mathbf{x}$；
  矩阵$(matrix)$：m行n列，二维数组，其shape为(m,n)一般用大写字母表示$X$；
  张量$(tensor)$：三维及以上数组，其shape为(height,weight,channel)或(batch,height,weight,channel)。

  降维$(Dimension$ $Reduction)$，即通过某种数学变换将原始的高维特征空间转变为一个低维的子空间，在这个子空间中样本密度大幅提高，特征数量减少，计算起来更为容易。

2. 奇异值分解SVD

  奇异值分解$(Singular$ $Value$ $Decomposition,SVD)$是一种矩阵因子分解方法，除了被应用于推荐系统、自然语言处理等领域外，还被应用于降维算法中进行特征分解。
  矩阵的奇异值分解是指，对任意一个非零的$m\times n$实矩阵$A,A\in {\mathbb{R}}^{m\times n}$，都可以表示为以下三个实矩阵的乘积形式，即进行矩阵的因子分解：$$A=U\Sigma V^T$$  其中$U$是$m$阶正交矩阵，$V$是$n$阶正交矩阵，$\Sigma$是$m\times n$对角矩阵，对角线上的元素由降序排列的非负的矩阵$A$的奇异值组成的，$U\Sigma V^T$称为矩阵$A$的奇异值分解，又称为完全奇异值分解。

  正交矩阵$(orthogonal$ $matrix)$，满足$A{A}^T=I,即A^T=A^{-1}$的矩阵(任意一个列向量的内积为1，任意两个列向量的内积为0，即正交矩阵是由两两正交的单位向量组成的，也可以说是由规范正交基组成的)。
  对角矩阵$(diagonal$ $matrix)$，除主对角线之外，其余元素皆为0的矩阵。
  奇异值$(singular$ $value)$，通俗点说就是特征值的平方根，可见奇异值都是非负的。在线性代数中，特征值与特征向量是这样定义的：$$A\mathbf{x}=\lambda \mathbf{x}$$  其中，$\mathbf{x}$为方阵$A$的特征向量，$\lambda$为方阵$A$的特征值。
  而求解奇异值时不要求矩阵$A$是方阵，因为矩阵$A$是$m\times n$实矩阵，那么矩阵$A^{T}A$则是$n$阶实对称矩阵，实对称矩阵必然可以对角化，即一定存在一个$n$阶正交矩阵$V$，使得$V^T(A^{T}A)V=\Lambda$，其中$\Lambda$是$n$阶对角矩阵，其对角线上的元素由实对称矩阵$A^{T}A$的特征值组成。
  由此，可以先求出实对称矩阵$A^{T}A$的特征值${\lambda }_i$，然后开根号即可得矩阵$A$的奇异值，即${\sigma }_i=\sqrt{{\lambda }_i}$

2.1 紧奇异值分解

  紧奇异值分解$(compact$ $singular$ $value$ $decomposition)$是与原始矩阵等秩的奇异值分解。假设有$m\times n$实矩阵$A$，其秩为$rank(A)=r,r\le min(m,n)$，则称$U_r{\Sigma }_r{V}_r^T$为矩阵$A$的紧奇异值分解，即$$A=U_r{\Sigma }_r{V}_r^T$$  其中$U_r$是$m\times r$矩阵，由完全奇异值分解中$U$的前

以上是关于机器学习之主成分分析(手推公式版)的主要内容，如果未能解决你的问题，请参考以下文章

机器学习之支持向量机(手推公式版)

机器学习之PCA主成分分析

机器学习之主成分分析

机器学习之主成分分析(PCA&特征选择)

机器学习之学习路线

机器学习之求解无约束最优化问题方法(手推公式版)