第十五章15.2矩阵奇异值分解基本定理

Posted 2021-05-23 oldmao_2001

文章目录

• 本章内容
• 奇异值分解基本定理
• • 前提假设
  • 证明
• 例题

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

本章内容

对应书本章节	主要学习内容	习目标
矩阵奇异值分解基本定理	构造法证明的3步骤	掌握矩阵奇异值分解过程
正交变换	正交补空间的性质	理解正交补空间的秩与相关运算
奇异值与特征向量的关系	正交特征向量的构造及对奇异值的影响	掌握奇异值的求法与数学性质
奇异值分解的案例运算	简单与复杂矩阵的奇异值分解简化法	理解奇异值分解的实际意义

奇异值分解基本定理

前提假设

设$A$为一$m\times n$实矩阵，$A\in R_{m\times n}$，则存在A的奇异值分解：
$$A=U\Sigma V^T$$
这里$m\ge n$，如果$m<n$则可以把矩阵进行转置：
$$\begin{gathered} A^T=U\Sigma V^T \\ A=V\Sigma U^T \end{gathered}$$
其中U与V分别是m阶与n阶正交矩阵，$\Sigma$是$m\times n$矩形对角矩阵，对角线元素均为非负实数，依次按降序排列。

证明

不妨设$m\ge n$，$m<n$时矩阵仍能化简为行满秩的形式，可类似证明。
1、确定V和$\Sigma$
由于A是$m\times n$实矩阵，则矩阵$A^{T}A$是n阶实对称矩阵。
特征值都是实数，存在n阶正交实矩阵V实现$A^{T}A$的对角化，使得$V^T(A^{T}A)V=D$成立
其中D是n阶对角矩阵，对角线元素依次为$A^{T}A$的特征值降序排列组成（对角线元素个数为k个，$k=rank(A^{T}A)$）。

---

上节内容：
合理排列正交矩阵V的列向量顺序，使得相似对角化后对应的的特征值依次降序排列。
分别计算特征值平方根，即为矩阵A的各奇异值。
$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$$
记矩阵A的秩为r，即rank(A)=r，那么矩阵$A^{T}A$的秩也是r。
$${\sigma }_i=\sqrt{{\lambda }_i},i=1,2,\cdots ,n$$
${\sigma }_i=$是矩阵分解中$\Sigma$对角线上的元素

---

验证特征值非负
设$\lambda$是$A^{T}A$的一个特征值，x是对应于$\lambda$的特征向量，则
$$||Ax|{|}^2=x^T{A}^{T}Ax=\lambda x^{T}x=\lambda ||x|{|}^2$$
因此推出：
$$\lambda =\frac{||Ax|{|}^2}{||x|{|}^2}\ge 0$$

---

$A^{T}A$是$n\times n$的实对称矩阵，故A的秩等于正特征值的数目，因此：
$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>0,{\lambda }_{r+1}={\lambda }_{r+2}=\cdots ={\lambda }_n=0$$
因此奇异值的大小关系为：
$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0,{\sigma }_{r+1}={\sigma }_{r+2}=\cdots ={\sigma }_n=0$$
因此特征向量也可以分为两个部分，定义：
$$V_1=[v_1{v}_2\cdots v_r],V_2=[v_{r+1}$$

什么是矩阵的奇异值分解?

奇异值分解SVD

奇异值怎么求

奇异值分解SVD

奇异值分解--图像分解恢复

奇异值分解