5 最小二乘解

Posted 2021-11-26 kekeoutlook

https://blog.csdn.net/kokerf/article/details/72437294

对于线性方程组，解的判别条件如下：
1. Ax=0Ax=0 总有解，至少有零解
2. Am×nx=0Am×nx=0
　当r(A)=nr(A)=n，只有零解
　当r(A)<nr(A)<n，有无穷多解
3. Am×nx=bAm×nx=b
　当r(A)≠r(A|b)r(A)≠r(A|b)，无解
　当r(A)=r(A|b)=nr(A)=r(A|b)=n，有唯一解
　当r(A)=r(A|b)=r<nr(A)=r(A|b)=r<n，有无穷多解

我一般我们会面临形如Am×nx=bAm×nx=b的方程。我们考虑测量数据和我们需要的解的参数之间的关系，该方程的解可以分为以下几种情况：

如果m<nm<n，未知数大于方程数。那么解不唯一，存在一个解矢量空间。
如果m=nm=n，那么只要AA可逆（非奇异，也就是满秩）就有唯一解，解为x=A−1bx=A−1b。
如果m>nm>n，方程数大于未知数。方程一般没有解，除非bb属于AA的列向量组成的子空间

 

正规方程
　　线性最小二乘问题也可以使用正规方程（normal equations ）的方法来解。考虑Am×nx=bAm×nx=b，其中m>nm>n。这个方程一般不存在解，所以去找最小化范数 ∥Ax−b∥‖Ax−b‖的矢量xx。把AA写成列空间的形式A=(a1,a2,...,an)A=(a1,a2,...,an)，其中aiai为mm维列向量，那么当xx变量所有的值的时候，可以认为向量AxAx遍历了AA的整个列空间，即由AA的列生成的RmRm的子空间。而我们需要找到在这个子空间中最接近向量bb的那个情况。

　　几何上我们可以这么理解，要是AxAx最接近bb，我们需要使得∥Ax−b∥‖Ax−b‖最小，也就是让向量Ax−bAx−b垂直AA的列空间。如下图