零碎（１）加权平方误差最小化准则

Posted 2022-10-18 悠望南山2016

　　【理解】
　　
　　这种目标函数可以视为最小二乘法的一个扩展，关键在于对每一个平方项前的权重$W(ω)$的理解。可以按照Ng那门课正则化“加重对某一项的惩罚”的思路考虑$W(ω)$。
　　
　　假如整个$E(ω)$由5个点构成：$E(1),E(2),E(3),E(4),E(5)$，则加权平方误差为：
　　
　　$J = W(1)E(1)^2+W(2)E(2)^2+W(3)E(3)^2+W(4)E(4)^2+W(5)E(5)^2$

　　如果$W(1)$的权重比其它几个$W(i)$都要大（$i=2,3,4,5$），那么优化算法将会格外注重降$低W(1)E(1)^2$，也就是$E(1)$会被降得很厉害，而$E(2),E(3),E(4),E(5)$则下降得没有那么厉害。

　　总而言之$W(i)$的作用就是通过调高它让最优化算法格外注重降低某一点的误差，或者通过调低它来让最优化算法不那么关注降低某一点的误差。和最小二乘法关注的是整体误差下降到最低而无视误差是否均匀分布有所区别，加权平方最小化用于那些我们希望最终下降后的误差能够均匀分布的场合，通过调整$W(i)$，可以令结果的逼近误差均匀分布。
　　
　　2016.11.16 记