加权最小二乘法的权重形式

Posted 2023-04-19

加权最小二乘法的权重形式？加权最小二乘法采用指数权数W，0
以直线模型 为例，其加权的剩余平方和为：对上式分别求a和b的偏导数，得到标准方程组：对上述方程解出a和b，就得到加权最小二乘法直线模型。应用加权最小二乘法，W的取值不同，解出的a，b也不同，因此W值取多少，需要经分析后确定。 参考技术A ，可以把波动性较大的数据点权重降低，这样就可以减少异常值对拟合结果的影响。

加权最小二乘法可以改变它们的权重，使得拟合结果更加精确，可以把波动性较大的数据点权重降低，这样就可以减少异常值对拟合结果的影响。通过加权最小二乘法，可以把拟合的结果更加精确，可以更好的拟合数据，从而更准确的预测未来的数据。

零碎（１）加权平方误差最小化准则

　　【理解】
　　
　　这种目标函数可以视为最小二乘法的一个扩展，关键在于对每一个平方项前的权重$W(ω)$的理解。可以按照Ng那门课正则化“加重对某一项的惩罚”的思路考虑$W(ω)$。
　　
　　假如整个$E(ω)$由5个点构成：$E(1),E(2),E(3),E(4),E(5)$，则加权平方误差为：
　　
　　$J = W(1)E(1)^2+W(2)E(2)^2+W(3)E(3)^2+W(4)E(4)^2+W(5)E(5)^2$

　　如果$W(1)$的权重比其它几个$W(i)$都要大（$i=2,3,4,5$），那么优化算法将会格外注重降$低W(1)E(1)^2$，也就是$E(1)$会被降得很厉害，而$E(2),E(3),E(4),E(5)$则下降得没有那么厉害。

　　总而言之$W(i)$的作用就是通过调高它让最优化算法格外注重降低某一点的误差，或者通过调低它来让最优化算法不那么关注降低某一点的误差。和最小二乘法关注的是整体误差下降到最低而无视误差是否均匀分布有所区别，加权平方最小化用于那些我们希望最终下降后的误差能够均匀分布的场合，通过调整$W(i)$，可以令结果的逼近误差均匀分布。
　　
　　2016.11.16 记