代数之美奇异值分解（SVD）及其在线性最小二乘解Ax=b上的应用

Posted 2022-12-07 李迎松~

奇异值分解（Singular Value Decomposition，SVD） 是线性代数中重要的矩阵分解，是特征分解在任意矩阵上的推广，在立体视觉、三维重建领域应用非常广泛。由于可以用于求解线性方程的最小二乘解，所以在求解本质矩阵、单应性矩阵、点云刚性变换矩阵时，都能用到SVD。本篇即给大家简单介绍下奇异值分解，并通过公式推导来说明其在线性最小二乘解$Ax=b$上的应用。

文章目录

• 奇异值分解（SVD Decomposition）定义
• SVD的一些特性
• SVD求解线性最小二乘问题Ax=b

奇异值分解（SVD Decomposition）定义

对于任意矩阵$A\in R^{m\times n}$，存在正交矩阵$U\in R^{m\times m}$，$V\in R^{n\times n}$，以及对角矩阵$\Sigma \in R^{m\times n}$：


其中，对角线元素满足：
$${\sigma }_1\ge \cdots \ge {\sigma }_r\ge {\sigma }_{r+1}=\cdots ={\sigma }_{\min (m,n)}=0$$
使得，$A=U\Sigma V^T$。

此分解叫做矩阵$A$的奇异值分解（Singular Value Decomposition），是一个非常重要的矩阵分解，对角矩阵$\Sigma$的对角线元素${\sigma }_i$叫做矩阵$A$的奇异值。矩阵$U$的列向量成为左奇异向量，矩阵$V$的列向量成为右奇异向量。

使用正交矩阵$V$，可得到以下公式：
$$AV=U\Sigma$$

这可解释为，存在一组特殊的正交向量集（例如$V$的列向量集），通过矩阵$A$映射到另一组正交向量集（例如$U$的列向量集）。

SVD的一些特性

给定矩阵$A$的一组SVD分解
$$A=U\Sigma V^T$$

其中，${\sigma }_1\ge \cdots \ge {\sigma }_r\ge {\sigma }_{r+1}=\cdots ={\sigma }_{\min (m,n)}=0$

存在以下推论（$R(A)$和$N(A)$分别为矩阵$A$的值域空间和零空间）：

• $rank(A)=r$
• $R(A)=R([u_1,...u_r])$
• $N(A)=R([u_{r+1},...,u_n])$
• $R(A^T)=R([v_1,...v_r])$
• $N(A^T)=R([v_{r+1},...,v_m])$

如果我们引入
$$U_r=[u_1,...,u_r],\Sigma =diag({\sigma }_1,...,{\sigma }_r),V_r=[v_1,...,v_r]$$

则有
$$A=U_r{\Sigma }_r{V}_r^T=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^T$$
这称为矩阵$A$的二进制分解（dyadic decomposition），即将秩为$r$的矩阵$A$分解为$r$个秩为1的矩阵之和。

同时，可以得到
$$A^{T}A=V{\Sigma }^T\Sigma V^{代数之美奇异值分解（SVD）及其在线性最小二乘解Ax=b上的应用}$$

奇异值分解之后如何进行最小二乘解算？

奇异值分解SVD和偏最小二乘奇异值分解PLSSVD

奇异值分解（SVD）和图像压缩

机器学习中的数学-强大的矩阵奇异值分解(SVD)及其应用

[机器学习笔记]奇异值分解SVD简介及其在推荐系统中的简单应用