最小二乘解

Posted 2021-02-01 codedog123

定义：任意$A=A_{m imes n}$，方程$AX=b$可产生新方程$A^HAX=A^Hb$，叫$AX=b$的正规方程。

引理：正规方程组$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$)

证明：

[{A^H}A{X_0} = {A^H}A{A^ + }{X_0} = {A^H}{(A{A^ + })^H}{X_0} = {(A{A^ + }A)^H}{X_0} = {A^H}{X_0}]

注：$A^HAX=A^Hb$有下面通解公式，$rank(A)=r$：

[X = {X_0} + ({k_1}{Y_1} + ... + {k_{n - r}}{Y_{n - r}})]

其中$X_0=A^+b$，$Y=k_1Y_1+...+k_{n-r}Y_{n-r}$

 

定义：任意$A=A_{m imes n}$可产生2个子空间

(1)$N(A)={X | AX=0, X in C^n}  subset C^n$，称为A的核空间

(2)$N(A)={AX |  X in C^n}  subset C^m$，称为A的像空间又称为值域

 

定理：

(1)$(A^+A)^2=A^+A$

(2)$(A+A)^2=A^+A$

(3)$AA^+ ge 0$和$A^+A ge 0$

 

 引理：若$AX=b$有解，则必有特解：$X_0=A^+b$

证明：设$X_1$为$AX=b$的任意解，$AX_1=b$，把$X_0=A^+b$代入方程：

[A{X_0} = A({A^ + }b) = A({A^ + }A{X_1}) = A{A^ + }A{X_1} = A{X_1} = b]

 

正交引理：

(1)任意$A=A_{m imes n} in C^{m imes n}, b in C^{m}$，$X_0=A^+b  subset  C^n$，则$X_0 ot N(A))$

证明：

[(X,{X_0}) = X_0^HX = {({A^ + }b)^H}X = {({A^ + }A{A^ + }b)^H}X = {({A^ + }b)^H}{({A^ + }A)^H}X = {({A^ + }b)^H}{A^ + }(AX) = 0]

(2)任意$A=A_{m imes n} in C^{m imes n}, b in C^{m}$，$X_0=A^+b  subset  C^n$，则$(A{X_0} - b) ot R(A)$

证明：

[(A{X_0} - b,AX) = {(AX)^H}(A{X_0} - b) = {X^H}{A^H}(A{X_0} - b) = {X^H}({A^H}A{X_0} - {A^H}b) = 0]

 

定义：

(1)若$AX=b$无解，则称$AX=b$为不相容方程。

(2)若$AX=b$有解，则称$AX=b$为相容方程。

 

定理：$min ({left| {AX - b} ight|^2}) = A{X_0} - b$，$X_0=AX_0-b$为最小值点

证明：

[{left| {AX - b} ight|^2} = {left| {AX - A{X_0} + A{X_0} - b} ight|^2} = {left| {A(X - {X_0})} ight|^2} + {left| {A{X_0} - b} ight|^2} ge {left| {A{X_0} - b} ight|^2}]

 

定理：若$AX=b$不相容，$X_0=A^+b$是一个最小二乘解，其他最小二乘解X适合条件$AX=AX_9 Leftrightarrow A(X-X_0)=0$，通解为：

[X - {X_0} = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} Rightarrow X = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} + {X_0}]

 

定理：若AX=b不相容，则$X_0=A^+b$恰是全体最小二乘解中的最小长度（2范数）解，被称为极小范数解。

[{left| X ight|^2} = {left| {{X_0} + Y} ight|^2} = {left| {{X_0}} ight|^2} + {left| Y ight|^2} ge {left| {{X_0}} ight|^2}]

 

定理：若$A=A_{m imes n}$与$X=X_{m imes n}$适合条件：$(1)AXA=A$，称X为A的一个减号逆或1号逆，记为$X=A^-$或$X=A^{(1)}$

 

定理：减号逆矩不唯一

 

求解$A^-$

(1)

[A = {left[ {egin{array}{*{20}{c}}
{{I_r}}&0\
0&0
end{array}} ight]_{m imes n}} Rightarrow {A^ - } = {left[ {egin{array}{*{20}{c}}
{{I_r}}&C\
D&F
end{array}} ight]_{n imes m}}]

$C,D,F$的取值任意

(2)若$A=A_{m imes n}$：

[PAQ = B = {left[ {egin{array}{*{20}{c}}
{{I_r}}&0\
0&0
end{array}} ight]_{m imes n}} Rightarrow {A^ - } = Q{left[ {egin{array}{*{20}{c}}
{{I_r}}&C\
D&F
end{array}} ight]_{n imes m}}P]

 

 

扩展：矩阵方程$AXB=D$：

(1)若$AXB=D$相容，则必有特解$X_0=A^+DB^+$和$Y_0=A^-DB^-$，使得$AX_0B=D, AY_0B=D$

(2)若$AXB=D$相容，则$X_0=A^+DB^+$是最小范数解

(3)若$AXB=D$不相容，则$X_0=A^+DB^+$是最小二乘解