奇异值分解SVD

Posted 2023-03-27

参考技术A

矩阵的奇异值分解（SVD）是指，将一个非零的 实矩阵 , , 表示为三个实矩阵相乘的形式:

其中， 是 阶正交矩阵, 是 阶正交矩阵， 是由降序排列的非负的对角线元素组成的 矩形对角矩阵, 满足

成称为矩阵 的奇异值， 的列向量称为左奇异向量， 的列向量称为右奇异向量

ps：奇异值分解不要求矩阵 是方阵，矩阵的奇异值分解可以看作是方阵对角化的推广

以上给出的奇异值分解又称为完全奇异值分解，实际常用的是奇异值分解的紧凑形式和截断形式。

设有 实矩阵 , 其秩为 :

紧奇异值分解 :

其中， 是 矩阵, 是 矩阵， 是 阶对角矩阵；矩阵 由完全奇异值分解中 的前 列、矩阵 由 的前 列、矩阵 由 的前 个对角线元素组成。紧奇异值分解的对角矩阵 的秩与原始矩阵 的秩相等。

截断奇异值分解 ：

其中， ， 是 矩阵, 是 矩阵, 是 阶对角矩阵; 矩阵 由完全奇异值分解中 的前 列矩阵 由 的前 列、矩阵 由 的前 个对角线元素组成。对角矩阵 的秩比原始矩阵 的秩低

（1）设矩阵 的奇异值分解为 , 则以下关系成立:

（2）矩阵 的奇异值分解中，左奇异向量，右奇异向量和奇异值存在一一对应的关系

（3）矩阵 的奇异值分解中，奇异值 是唯一的，而矩阵 和 不 是唯一的。

（4）矩阵 和 的秩相等, 等于正奇异值 的个数 包含重复的奇异值，奇异值都是非负的)

（5）矩阵 的 个右奇异向量 构成 的值域 的一组标准正交基

从线性变换的角度理解奇异值分解:

矩阵 表示从 维空间 到 维 空间 的一个线性变换，

和 分别是各自空间的向量。

奇异值分解可以看作, 将线性变换 转换为三个简单变换. 例如下图, 给出了原始空间的标准正交基 (红色与黄色)，经过坐标系的旋转变换 、坐标轴的缩放变换 , 坐标系的旋转变换 ，得到和经过线性变换 等价的结果。