现代信号处理 12 - 深入探讨奇异值分解

Posted 2021-12-28 Ciaran-byte

深入探讨奇异值分解

文章目录

• 深入探讨奇异值分解
• • 1. PCA、KL展开与SVD
  • • 1.1 PCA公式证明
    • 1.2 Karhunen-Loeve展开
    • 1.3 基于SVD提高PCA计算精度
    • • 1.3.1 优化数值计算稳定性
      • 1.3.2 降噪
      • 1.3.3 应用：Eigenface人脸识别算法
  • 2. 整体最小二乘(TLS)与SVD
  • • 2.1 TLS思想
    • 2.2 需要解决的三个问题
    • • 2.2.1 矩阵的求模
      • 2.2.2 低秩逼近
      • 2.2.3 TLS问题
    • 2.3 TLS小结

1. PCA、KL展开与SVD

1.1 PCA公式证明

  我们考虑一个随机矢量,其中z_k是一个随机变量

$$Z=(z_1,...,z_n{)}^T$$

  我们假定Z符合高斯分布

$$Z\sim N(\mu ,\Sigma )$$

  我们想对Z进行PCA，我们假设Z是个无偏的估计

$$\begin{gathered} E(Z)=0 \\ Var(Z)=E|Z{|}^2 \end{gathered}$$

  我们想对Z进行分析，找到他能量分布最大的方向α，同时我们假设方向向量α是个单位向量,要找到Z能量分布最大的方向，也就是Z在α上投影最大。

$$\begin{gathered} \alpha \in R^n \\ E|Pro{j}_{\alpha }Z{|}^2\Rightarrow maxE|Pro{j}_{\alpha }Z{|}^2,s.t.||\alpha ||=1 \end{gathered}$$

  根据投影公式

$$\begin{gathered} Pro{j}_{\alpha }Z=\alpha ({\alpha }^T\alpha {)}^{-1}{\alpha }^{T}Z \\ ||Pro{j}_{\alpha }Z|{|}^2=Z^T\alpha ({\alpha }^T\alpha {)}^{-1}{\alpha }^T\ast \alpha ({\alpha }^T\alpha {)}^{-1}{\alpha }^{T}Z \\ =Z^T\alpha \ast {\alpha }^{T}Z \end{gathered}$$

  所以目标函数变成

$$\begin{gathered} E|Pro{j}_{\alpha }Z{|}^2\Rightarrow maxE|Pro{j}_{\alpha }Z{|}^2,s.t.||\alpha ||=1 \\ \Rightarrow ma{x}_{\alpha }E|{\alpha }^{T}Z{|}^2,s.t.||\alpha ||=1 \end{gathered}$$

  用拉格朗日数乘法解条件极值问题

$$\begin{gathered} g(\alpha ,\lambda )=E({\alpha }^{T}Z)(Z^T\alpha )-\lambda ({\alpha }^T\alpha -1)={\alpha }^T{R}_Z\alpha -\lambda ({\alpha }^T\alpha -1) \\ {\nabla }_{\alpha }g(\alpha ,\lambda )=2R_Z\alpha -2\lambda \alpha =0 \\ {R}_Z\alpha =\lambda \alpha \end{gathered}$$

  其中

$$R_Z=E(Z\ast Z^T)$$

  说明得到的方向是Z的相关矩阵的特征向量。

  而我们希望获得最大化的能量分散，也就是要获得最大的特征值

$$\begin{gathered} max{\alpha }^T{R}_Z\alpha =max\lambda \\ \Rightarrow max{\alpha }_1^T{R}_Z{\alpha }_1=max{\lambda }_1 \end{gathered}$$

  因此我们找到的第一个主成分，就是最大的那个特征值。我们希望继续找能量分散最大的方向，其实也就是要到α的正交补空间中继续寻找，因此如果继续求条件极值的话，目标函数应该是这样的

$$\begin{gathered} ma{x}_{{\alpha }_n}E|{\alpha }_n^{T}Z{|}^2 \\ s.t.以上是关于现代信号处理\; 12\; -\; 深入探讨奇异值分解的主要内容，如果未能解决你的问题，请参考以下文章 \end{gathered}$$

AI数学基础之:奇异值和奇异值分解

svd 奇异值分解

奇异值怎么求

什么是矩阵的奇异值分解?

奇异值分解（SVD）的原理及应用

奇异值分解的方法