矩阵的LU分解

Posted 2023-05-13

参考技术A

看了麻省理工的线性代数的一部分课程，主要是补补课，大二线代忘得差不多，主要目的是学习SVD，学习SVD之前补补前面的课，第一课就是LU分解了。

L是指下三角矩阵，U是指上三角矩阵，也就是说一个矩阵可以分解为下三角矩阵和上三角矩阵的乘积，下三角阵对角元是1，上三角是主元，貌似课上是这么说的。对于任意矩阵A可以写成：

还可以写成A=LDU，其中D是对角阵，例如：

这是LU分解而LDU则是

L是一堆初等变换乘积的逆，为什么是逆呢？
我们可以假设对于一个3*3的矩阵A化为上三角矩阵U需要将第二行第一个元素化为0，这一初等变换记作E ₂₁ 将第三行第一个，第二个元素化为0记作E ₃₁ ,E ₃₂

那么原式可以写为

为了简单我们令E ₃₁ =E,那么另外两个的乘积可以设为：

注意到最终结果存在一个10，我们在消去第二行第一个元素时是乘以-2倍的，对于第三行是乘-5的，这两个是消元系数，但是10并不是，我们不想出现10，那么看看他们的逆呢？

很明显没有10了而这就是我们要的L只体现消元系数，而没有其他的数字。

在机器学习中目前没发现作用，度娘说LU分解主要应用在数值分析中，用来解线性方程、求反矩阵或计算行列式。

是n ³ ,n*n的矩阵，消去第一列是n ² ,第二列是(n+1) ² ...求和约为n ³ 。

高等工程数学 矩阵的三角分解 （LU分解，LDR分解，Cholesky分解）

本文介绍了矩阵的三角分解，如LU分解，LDR分解，Cholesky分解等。
为博主在学习过程中，总结或者思考的记录，用于加深印象，不作为知识讲解和科普，如果理解有误还请指出。

文章目录

• • 前言
  • 一、LR（LU）分解，也称Doolittle分解
  • • 1. 什么矩阵可以分解
    • 2. 什么情况分解唯一
  • 二、带行变换的LU分解
  • 三、LDR分解
  • 四、Cholesky分解

前言

  对矩阵进行分解能够清晰反应出原矩阵的某些数字特征，在矩阵运算中可以起到化简的作用，其次在一些特定的场合将矩阵分解为合适的形式能够减少运算误差，在数值计算中有很重要的地位。

一、LR（LU）分解，也称Doolittle分解

若矩阵A可以表示为：

A = L·R

其中，L为单位下三角矩阵，R为上三角矩阵，则称A可三角分解（LR分解）。例如：

$$A=\left[\begin{array}{ccc}2& 1& 4\\ 4& 3& 13\\ 2& 2& 20\end{array}\right]=\left[\begin{array}{ccc}1& & \\ 2& 1& \\ 1& 1& 1\end{array}\right]\cdot \left[\begin{array}{ccc}2& 1& 4\\ & 1& 5\\ & & 11\end{array}\right]=L\cdot R$$
LR分解可以用于解线性方程组 $Ax=b$，若方阵A有LR分解，即$A=L\cdot R$，令$Rx=y$，则方程组等价于：
$$\begin{array}{r}Ly=b\\ Rx=y\end{array}，此处L.R.b均为已知量$$
由于L和R的特殊形式，$Ly=b$ 很容易利用高斯消元迭代求出y，然后代入$Rx=y$，再次迭代求出x。

• 那么提出两个问题，是否所有矩阵可分解？分解的形式是否唯一？

  1. 什么矩阵可以分解

  很容易找到矩阵$\left[\begin{array}{ccc}0& & 1\\ 1& & 0\end{array}\right]$，此矩阵可逆但是没有三角分解。
  定理1： n阶方阵A具有唯一LR分解的充要条件是A的前 n - 1个顺序主子式不为零。
  其中， $A=\left(\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right)$ ，第k个顺序主子式${\Delta }_k=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1k}\\ a_{21}& a_{22}& \cdots & a_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ a_{k1}& a_{k2}& \cdots & a_{kk}\end{array}\right|$
  易知$a_{11}$