最小二乘

Posted 2020-10-12 Jessica&jie

（一）线性最小二乘（线性方程组的求解方法）     http://www.cnblogs.com/leexiaoming/p/7224781.html

主要包括以下内容：

[1]最小二乘问题的定义

[2]非其次方程(Ax=b)求解方法：

• 正规方程求解
• 乔姆斯基分解法求解  
  
• QR分解法求解
• 奇异值分解法求解（SVD）

[3]齐次方程(Ax=0)求解

（二） 非线性最小二乘    http://www.cnblogs.com/leexiaoming/p/7257198.html

通过下降法和信任区域法引出高斯牛顿和LM两种常用的非线性优化方法。博客中主要内容为：

[1]非线性最小二乘介绍；

[2]下降法相关理论(Desent Method)

[3]信任区域理论（Trust Region Methods）;

[4]非线性最小二乘求解方法

• 高斯牛顿
• Levenberg-Marquardt Method(LM）