数值计算矩阵浅析

Posted 2020-10-05

对于一个m*n的矩阵A，其实质就是一个映射，譬如对于一个n维的矢量x，A_m*nx就是将x从n维映射到m维空间。如果A是一个正交矩阵，则A就代表一个旋转，即用A中的列向量作为一组正交基，重新表示x.

一、正交矩阵

_Un*n的正交矩阵  <=>  U^-1=U^T

• |U| = ±1
• U的各行（列）为单位向量且相互正交
• 保范性，即||x|| = ||Ux||，若U为正交矩阵

前两条容易理解，现在证明第三条，||x||表示x的欧式长度，||x|| = (x^Tx)^1/2, 保范性就是矢量x乘以一个正交矩阵，其范数保持不变，假设U为正交矩阵:

||Ux||² = (Ux)^T(Ux) = x^TU^TUx = x^Tx = ||x||²

 

二、矩阵的RQ分解

矩阵的RQ分解是指将一个矩阵A分解成RQ两个矩阵相乘的形式，即A = RQ，其中R（Right）为上三角矩阵，Q为正交矩阵。与RQ分解类似的有QL、LQ、QR分解。

1、Givens矩阵实现

以3维Givens矩阵为例，通过计算的到c和s(具体见MVG附录)，按步骤依次对三维矩阵A右乘某个Givens矩阵使A的左下角的各个值为0

例如：AQ₁Q₂Q₃ = R      A = RQ_3^TQ_2^TQ_1^T  = RQ     (其中Q = Q_3^TQ_2^TQ_1^T )

2、HouseHold矩阵实现

HuserHold矩阵实现RQ分解和Givens类似，都是利用特殊矩阵来实现，具体见MVG附录。

 

三、对称和反对称矩阵

如果A ^T = A，称A为对称矩阵；如果A ^T = -A，称A为对反称矩阵。

以3*3的反对称矩阵为例，任何3*3的反对称矩阵A，都能找到一个适当的向量a，A = [a]_x.

两个3维矢量a、b的叉乘：a*b = [a]_xb = (a^T[b]_x)^T

 

四、特征值分解（EVD）

对任意方阵A_n*n，都可以分解成 A _{n*n ⁼} PDP^-1.

若A是实对称矩阵的话，则有A _n*n ⁼ UDU^T，其中U为正交矩阵。若对矢量x做一个A映射，即Ax = UDU^Tx ，即将A映射分解成三个映射，先做U^Tx，将x用A的特征向量来表示，再做DU^Tx，由于D是对角矩阵，对角线上的元素为各个特征向量所对应的特征值，那么该映射表示在新的基上把x做拉伸或压缩（特征值大于1做拉伸，小于1做压缩），最后再用U映射会原来的基。

 

五、Choleshy分解

对于任意正定实对称矩阵A都能分解成KK^T，即A = KK^T,其中K为对角元素全为正的上三角矩阵。

证明：A为实对称矩阵，故  A = UDU^T

          因为A正定，故D对角线上的元素全为正值，故D可写成D = EE^T,其中E为对角阵，对角线元素值为D的平方根

          则A  =  UEE^TU^T = UE(UE)^T，记V = UE，则A = VV^T

          对V进行RQ分解，V = KQ, 则A = KQQ^TK^T = KK^T（因为Q为正交矩阵）

以上证明的过程也为Choleshy分解的过程。这只是一种构造性方法，还有更加高效的方法，见MVG附录。

 

六、奇异值分解（SVD）

 特征值分解只能分解方阵，那对于非方阵则采用SVD分解，设A为m*n的矩阵，则

A _m*n = U_m*mD_m*nV_n*n^T

其中U和V都为正交矩阵，D为对角矩阵，且可知D对角线上的元素为A^TA的特征值得平方根，V中的列向量为其特征值所对应的特征向量。

证明：首先A^TA为半正定的，即特征值大于等于0.

           A = UDV^T

          则A^TA = VD^TU^TUDV^T = VD²V^T

          证毕。

注意：SVD是非常有用的矩阵分解方法，用SVD可以干很多事：

• 求（超定）方程组的根
• 图像压缩
• 矩阵分解
• 求伪逆

七、伪逆

对可逆矩阵求逆比较简单，但对不可逆的矩阵矩阵如何求伪逆呢？

定义：对于对角矩阵D,其伪逆为D⁺：

           D⁺_ii = 0，如果D_ii = 0

           D⁺_ii = D_ii^-1，若果D_ii ≠ 0

那么对于m*n的矩阵A，其伪逆为：

           A ⁺ = VD⁺U^T