矩阵的奇异值分解

Posted 2023-03-27

参考技术A 线性代数中，我们所说的矩阵的特征分解，即为：

然而，要满足特征分解，矩阵必须为方阵，否则无法直接求解特征值。

对于一般矩阵，我们如果也要对其进行分解成3个矩阵乘积 ，其中 为 的矩阵， 为 的方阵， 为 的矩阵， 为 的矩阵。

矩阵如何分解呢？首先，它应该满足一个条件，它是方的！那么如何把矩阵变成方针呢？

一个矩阵乘以它的转置即为方阵。

那么接下来的分解就是对与构造方阵的分解。还是特征分解的老步骤。这里，先提一下， 是半正定矩阵： 。

由于 满足矩阵交换乘积，有 ，且 。

我们可以设 的特征值为 ，设 的特征值为 ，且不为0的特征值个数相等。因此，有

矩阵半正定，特征值非负，可以开根号。特征值从右上角开始写，直到写到最后一个非零特征值。其余元素均为0。

刚才提及的是矩阵的奇异值分解的方法，现在我们初步看一下这个方法在降维中的应用。

令 ， 为矩阵对角线元素。

奇异值分解后的矩阵可以表示为：

令特征值从大到小排列，意味着前面的较大的特征值保留了矩阵较为重要的特征，后面的较小的特征值保留了矩阵比较细节的特征。以图像的压缩为例子：

压缩钱图像矩阵为 ，意味着参数有 个，只取前 个特征值，参数有 。误差为： 。

也可以用作在神经网络的加速运算，之后提及。

下面是图片压缩的例子（转自知乎@DeepWeaver）

奇异值分解SVD

参考技术A 主要是奇异值分解（Singular Value Decomposition，SVD）的意义，在5G mimo、图像压缩均有应用

如果矩阵是一个对角矩阵，可以理解为 拉伸； 如果是正交（酉）矩阵，可以理解为 旋转 ，当然正交矩阵比旋转矩阵更为一般，正交矩阵包括 旋转 、 反射 以及两者的组合

上图也可以用下图中的式子形式来表示

一个奇异值的大小可以表征它对应的这个秩为1的矩阵在整体展开式中的重要性，如下图的例子，可以看出有最大奇异值的第一项矩阵已经比较接近原矩阵了，这对于图像压缩的启示是：得到图像奇异值分解后，取其奇异值较大的几个矩阵即可，这样可以大大压缩存储空间