SVD（奇异值分解）(转)

Posted 2023-02-23

参考技术A 原链接： SVD（奇异值分解）小结--静哥哥

在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵 是一个 的 实对称矩阵 （即 ），那么它可以被分解成如下的形式

其中 为标准正交阵，即有 ， 为对角矩阵，且上面的矩阵的维度均为 。 称为特征值， 是 （特征矩阵）中的列向量，称为特征向量。

上面的特征值分解，对矩阵有着较高的要求，它需要被分解的矩阵 为实对称矩阵，但是现实中，我们所遇到的问题一般不是实对称矩阵。那么当我们碰到一般性的矩阵，即有一个 的矩阵 ，它是否能被分解成上面的式（1-1）的形式呢？当然是可以的，这就是我们下面要讨论的内容。

有一个 的实数矩阵 ，我们想要把它分解成如下的形式

其中 和 均为单位正交阵，即有 和 ， 称为 左奇异矩阵 ， 称为 右奇异矩阵 ， 仅在主对角线上有值，我们称它为 奇异值 ，其它元素均为0。上面矩阵的维度分别为 。

一般地 有如下形式

对于奇异值分解，我们可以利用上面的图形象表示，图中方块的颜色表示值的大小，颜色越浅，值越大。对于奇异值矩阵 ，只有其主对角线有奇异值，其余均为0。

正常求上面的 不便于求，我们可以利用如下性质

注：需要指出的是，这里 与 在矩阵的角度上来讲，它们是不相等的，因为它们的维数不同 ，而 ，但是它们在主对角线的奇异值是相等的，即有

可以看到式（2-2）与式（1-1）的形式非常相同，进一步分析，我们可以发现AAT和ATA也是对称矩阵，那么可以利用式（1-1），做特征值分解。利用式（2-2）特征值分解，得到的特征矩阵即为 ；利用式（2-3）特征值分解，得到的特征矩阵即为 ；对 或 中的特征值开方，可以得到所有的奇异值。

假设我们现在有矩阵 ，需要对其做奇异值分解，已知

那么可以求出 和 ，如下

分别对上面做特征值分解，得到如下结果

奇异值