广义最小二乘估计是啥？

Posted 2023-04-15

用迭代的松弛算法对线性最小二乘估计的一种改进。线性最小二乘估计在模型误差为相关噪声时是有偏估计，即其估计值存在偏差。这时采用广义最小二乘估计能获得较精确的结果。
　　假设所讨论的单输入单输出系统的差分方程模型是

式中uk和yk分别是输入和输出序列：

和

是算子多项式,它们的系数是需要通过估计来求出的未知数;z-1是单位延迟算子；ek是误差序列，它是零均值平稳相关噪声序列。为了进行广义最小二乘估计可以从形式上把ek变换成，这里，它的系数也是未知的。如果ek具有有理谱密度,则可把εk当作白噪声序列来处理。这样就把系统模型变成

相应的估计准则是

广义最小二乘估计就是使估计准则J为极小的参数估计。多项式A(z-1)、B(z-1)和C(z-1)的系数都是未知的,所以不能用一个线性算法获得广义最小二乘估计。
　　广义最小二乘估计采用迭代的松弛算法：先行固定C(z-1)，估计A(z-1)和B(z-1),使J 趋于极小；然后固定A(z-1)和B(z-1),估计C(z-1),使 J 趋于极小。如此反复迭代，直至估计值收敛。这时每步只进行简单的线性最小二乘估计运算，迭代的初值取扗(z-1)=1。
　　广义最小二乘估计算法的估计精度高，已得到应用并获得不少成果。它的缺点在于：当信噪比较小时,J可能有多个局部极小点，估计结果不能保证收敛到全局最小点，即参数真值；它的计算量也比线性最小二乘估计增加很多。
　　这种算法也可推广到多输入多输出系统，并且有相应的近似递推估计算法。当误差ek为正态噪声序列时，这种算法还可以解释为极大似然估计的松弛算法。
求采纳！！！ 参考技术A 好

最小二乘法

简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。例如，对于回归模型

，

若，…，为收集到的观测数据，则应该用来估计，这里是的估计值。这样点的估计就是，它们之间距离的平方就是

，

进而最小二乘估计量就是使得

                       (*)

达到最小值的参数.特别当各个和相应的估计值相等，即时，最小二乘估计量就是使得

                               (**)

达到最小值的参数.

如果我们能够在固定解释变量值的前提下观测预报变量，就认为解释变量的观测值和估计值相等，从而可以通过(**)式求最小二乘估计.在实际应用中，人们常忽略“各个和相应的估计值相等”的条件，而把(**)式的最小值点称为参数的最小二乘估计量，其原因有二：其一是不知道最小二乘方法的原理；或是找不到估计量的合理数学表达式，也就无法通过(*)式求最小二乘估计量，只好用(**)式的最小值点作为参数的估计.