最小二乘法

Posted fimw

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了最小二乘法相关的知识,希望对你有一定的参考价值。

简单地说,最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。例如,对于回归模型

技术分享图片

技术分享图片,…,技术分享图片为收集到的观测数据,则应该用技术分享图片来估计技术分享图片,这里技术分享图片技术分享图片的估计值。这样点技术分享图片的估计就是技术分享图片,它们之间距离的平方就是

技术分享图片

进而最小二乘估计量就是使得

技术分享图片                       (*)

达到最小值的参数.特别当各个技术分享图片和相应的估计值相等,即技术分享图片时,最小二乘估计量就是使得

技术分享图片                               (**)

达到最小值的参数.

如果我们能够在固定解释变量值的前提下观测预报变量,就认为解释变量的观测值和估计值相等,从而可以通过(**)式求最小二乘估计.在实际应用中,人们常忽略“各个技术分享图片和相应的估计值相等”的条件,而把(**)式的最小值点称为参数技术分享图片的最小二乘估计量,其原因有二:其一是不知道最小二乘方法的原理;或是找不到估计量技术分享图片的合理数学表达式,也就无法通过(*)式求最小二乘估计量,只好用(**)式的最小值点作为参数的估计.

以上是关于最小二乘法的主要内容,如果未能解决你的问题,请参考以下文章

什么是最小二乘法回归分析?

怎么用sklearn 解决最小二乘法

什么是加权最小二乘法,它的基本思想是什么

谁懂迭代加权最小二乘法,能否给讲下原理

偏最小二乘法的岭回归分析

什么是加权最小二乘法,它可以解决什么问题?