什么是矩阵的奇异值分解?

Posted 2023-05-08

参考技术A

奇异值 奇异值矩阵 奇异值矩阵分解

奇异值分解是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。

定义：设A为m*n阶矩阵，的n个特征值的非负平方根叫作A的奇异值。

记为。

(A)，则HA)^(1/2)。

定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得:

A = U*S*V’

其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。

推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得

A = U*S*V’

其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。

说明：

1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。

U和V中分别是A的奇异向量，而S是A的奇异值。

AA\'的正交单位特征向量组成U，特征值组成S\'S，A\'A的正交单位特征向量组成V，特征值（与AA\'相同）组成SS\'。

因此，奇异值分解和特征值问题紧密联系。

2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。

关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A\'A特征值的说明. (对复矩阵类似可得)

从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B\'=B-1, 即B\'B=I), S为对角阵.

A\'A=V\'S\'U\'USV=V\'S\'SV=V-1S2V

上式中, 一方面因为S是对角阵, S\'S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A\'A是相似与S2的, 因此与S2有相同特征值.

注：下面的符号和上面的有差异，注意区分

SVD步骤：

1、求AHA或AAH

2、求AHA或AAH的特征值及特征向量x1,x2,...xr， r个特征值组成

3、 U=(x1,x2,...xr)地

4、V1=AU1Δr-1，取V2与其正交，则V=(V1，V2)

则n阶复方阵U的n个列向量是U空间的一个标准正交基,则U是U距阵.

一个简单的充分必要判别准则是 方阵U的转置共扼距阵乘以U 等于单位阵,则U是U距阵

正交向量组的性质

定义1 Euclid空间V的一组两两正交的非零向量叫做V的一个正交向量组．

若正交向量组的每一个向量都是单位向量，这个正交组就叫做一个标准正交向量组．

设V是一个n维Euclid空间．若V中n个向量α1，α2，…，αn构成一个正交组，则由定理9.2.1知道这n个向量构成V的一个基．这样的一个基叫做V的一个正交基．若V的一个正交基还是一个标准正交向量组，则称这个基是V的一个标准正交基．

矩阵的SVD分解

参考技术A 矩阵的奇异值分解在最优化问题、统计学方面等等起到了很大的作用。写这篇文章的原因主要是最近在复习《矩阵论》，感觉书中写的奇异值分解还是很详细的，所以就有想将它写下来的欲望。在介绍奇异值分解之前，首先得知道矩阵的正交对角分解。

有推论可得存在一个n阶实对称矩阵 ，则存在正交矩阵 ，使得

以上成立的条件是 是实对称矩阵，但对于实的非对称矩阵 ，不再有上式的分解，所以就有了下面的正交对角分解。

定理：   设 可逆，则存在正交矩阵 和 ，使得

其中 。

上式是一个比较简单的证明，试想 不是一个实对称矩阵，那么就得把它变成一个实对称矩阵，能想到的就是 ，可以得到它是一个实对称矩阵，那么得到

其中 的特征值 都是大于0的，因为 ， 是一个对称正定矩阵，令：

，

得到 ，两边同时左乘 得到 ，两边再右乘 ，得到 ，

令 ，可知它是一个正交矩阵，所以就可以得到 。

由于在实际过程中，矩阵的行和列往往是不相等的，而且矩阵的逆也不一定都存在，所以，这就需要奇异值分解了。

设 ， 的特征值为（r为A的秩）

则称 为 的奇异值。

  设 ，则存在m阶酉矩阵（相当于复数域上的正交矩阵）U和n阶酉矩阵V，使得

其中 。

证：   根据矩阵的正交对角分解，可以得到 ，两边同时左乘以V，并将V分解为 ， 所以可以写成

将前面的式子两边左乘 ，再左乘 得到 ，可以设 ，则 ，即 的r个列向量是两两正交的单位向量， ，将其扩充到 的标准正交基，就是增加向量 ，则

于是可得

所以

由上面的证明可以看出SVD分解并不是唯一的。

根据对矩阵A进行SVD分解，记U和V的列向量分别为 和 ，可以得到

第一个式子表示矩阵A的零空间是由 的列向量张成的空间，可以证明：

上式经常用于求解齐次线性方程组 ，根据它的零空间，可以得到x的值就是 列向量的线性组合

第二个式子表示矩阵A的值域是 ，可证：

所以两者的值域是一样的。

《矩阵论》张凯院、徐仲