6.9 奇异值分解

Posted 2023-03-03 醒过来摸鱼

文章目录

• 定义
• 举例
• Python实现

定义

  拖了很久没写这篇奇异值分解文章，今天把它给写了。因为奇异值分解太重要了。任意矩阵都有奇异值分解，它是将矩阵分解为三部分相乘：
$$A_{m\times n}=U_{m\times m}{\left(\begin{array}{cc}{\Sigma }_{r\times r}& 0\\ 0& 0\end{array}\right)}_{m\times n}{V}_{n\times n}^H$$
  其中$U$是m阶酉矩阵，$V$是n阶酉矩阵，$\Sigma$是所有奇异值从大到小排列组成的对角阵。从这个定义来看，奇异值分解是非常难的。但是前人已经总结出了一套算法了。奇异值分解为什么这么重要？因为这个分解提供了太多信息了。

1. $V$的前$r$个向量组成了矩阵行空间的一组正交基；
2. $V$的后几个向量组成了矩阵零空间的一组正交基。
3. $U$的前$r$($r$是矩阵的秩)个列向量组成了矩阵列空间的一组正交基；
4. $U$的后几个向量组成了矩阵左零空间($Null(A^H)$)的一组正交基。
5. $V$的前$r$列由$A^{H}A$的单位正交特征向量组成；
6. $U$的前$r$列由$A{A}^H$的单位正交特征向量组成；

  这么难吗？哈哈。其实，步骤主要分以下几步：

1. 求$A{A}^H$矩阵和$A^{H}A$矩阵；
2. 求$A{A}^H$的所有非零特征值，开根号得到奇异值，再排序得到$\Sigma$；
3. 求$A{A}^H$的所有非零特征值的单位正交特征向量组成$U$的前$r$列；
4. 求$A^H$的零空间所有单位正交向量组成$U$的后$m-r$列；
5. 求$A{A}^H$的所有单位正交特征向量组成$V$的前$r$列；
6. 求$A$的零空间所有单位正交向量组成$V$的后$n-r$列；
7. 返回$U,V,\Sigma$

举例

  求这个矩阵的奇异值分解：
$$\left(\begin{array}{cccc}0& 1& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 3\\ 0& 0& 0& 0\end{array}\right)$$
 一步一步来，首先求$A{A}^H$矩阵和$A^{H}A$矩阵：
$$\begin{gathered} A{A}^H=\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 4& 0\\ 0& 0& 0& 9\end{array}\right) \\ {A}^{H}A=\left(\begin{array}{cccc}0& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 4& 0\\ 0& 0& 0& 9\end{array}\right) \end{gathered}$$
  再求 求$A{A}^H$的所有非零特征值,得到三个奇异值：
$$3,2,1$$
  再求$A{A}^H$非零特征值的的特征空间：
s p a n ( 0 0 1 0 ) , ( 0 1 0 0 ) , ( 1 0 0 0 ) span\\ \\beginpmatrix0\\\\ 0\\\\ 1\\\\ 0\\\\ \\endpmatrix,\\beginpmatrix0\\\\ 1\\\\ 0\\\\ 0\\\\ \\endpmatrix, \\beginpmatrix1\\\\ 0\\\\ 0\\\\ 0\\\\ \\endpmatrix \\ span ​0010​ ​,python numpy svd

numpy奇异值分解,广义逆矩阵与行列式

使用 Numpy (np.linalg.svd) 进行奇异值分解

奇异值分解 (SVD) 输出一维奇异值数组，而不是二维对角矩阵 [Python]

python3-特征值，特征分解，SVD奇异值分解

5.6 tensorflow2实现奇异值分解(SVD)——python实战（下篇）