线性方程求解之 二范数类型

Posted 2022-11-30 kaluotee

求解线性系统
在线性代数中我们经常需要求解具有m个方程 ，n 个 未知量的问题。这个问题可以以简洁的形式 表示为
$Ax=b$
其中 $A$ 是一个$m\\times n$ ， $x$是一个长度为n的向量（如不特别强调，都是列向量） ，$b$是一个长度为m 的向量。如果$m = n$ ，并且 满秩（各行向量或列向量线性无关） ，则这个线性方程的解为 $x=A^-1 b$
那如果$m> n$ ?这意味着什么？
事实上，实际问题中常常碰到的是 $m> n$ 的情况 ，这时我们方程的数量大于未知数的数量，这样我们面对的是一个over-determined 系统的求解问题。每个方程典型上包含噪声，或者是不正确的观察。在这样的情形下，我们尝试求解的是下面的最优化问题。
$\\min \\limits_x \\lVert Ax-b \\rVert^2= \\min \\limits_x \\left[ x^TA^TAx-2x^TA^Tb+b^Tb\\right]$
（这个优化问题看起来有二次项，是非线性问题，但幸运的是，这个方程对其求偏导后可以得到线性方程）
使用矩阵微分的规则，我们对这个方程 求偏导，得到下面的结果
$A^TAx-A^Tb=0$
$\\rightarrow A^T (Ax-b)=0$
$\\rightarrow A^TAX=A^Tb\\qquad(3.11)$

因为$A^TA$ 是$n\\times n$ 方阵，并且是满秩的，因此这个方程的解为
$x=(A^TA)^-1A^Tb$
那么这个解跟$(Ax-b)=0$ 的解有什么关系吗？
我的理解， $x=(A^TA)^-1A^Tb$是这个方程$(Ax-b)=0$ 的近似解。事实上， $(Ax-b)=0$ 中如果 $A$不是方阵，则这个方程本身是不能求解的，因为$A^-1$ 不存在，你不能求解出$x=A^-1b$ .但通过引入 $(A^TA)^-1$，你可以求出解$x=(A^TA)^-1A^Tb$ 。这个解与 $x=A^-1b$一般是不同的（除非 $A$存在逆。 所以$x=(A^TA)^-1A^Tb$ 应该是$(Ax-b)=0$的近似解。