偏差-方差分解

Posted 2020-11-24 laojifuli

1、
偏差-方差分解是解释学习算法泛化性能的一种重要工具，试图对学习算法的期望泛化误差率(generalization error)进行分解。可以分解为三部分，偏差(bias)、方差(variance)和噪声(noise)。其中，
偏差：度量了模型的期望值和真实结果的偏离程度，刻画了模型本身的拟合能力
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所产生的影响。
噪声：表达了当前任务上任何学习算法所能达到的期望防滑误差的下界，刻画了学习问题本身的难度。

2、
泛化误差：以回归任务为例，学习算法的平方预测误差期望为：
[Err(x) = E[(y-f(x;D))^2]]
方差：在一个训练集(D)上模型(f)对测试样本(x)的预测输出为(f(x;D))，那么学习算法(f)对测试样本(x)的期望预测为:[overline{f}(x) = E_D[f(x;D)]]
上面的期望预测也就是针对不同数据集(D，f)对(x)的预测值取其期望，也被叫做average predicted。
使用样本数相同的不同训练集产生的方差为：
[var(x)=E_D[f(x;D)-overline{f}(x))^w]]
噪声：噪声为真实标记与数据集中的实际标记间的偏差
[ varepsilon = E_D[(y_D-y)^2] ]
偏差：期望预测与真实标记的误差成为偏差(bias)，为了方便起见，我们直接取偏差的平方：
[ bias^2(x)=(overline{f}(x)-y)^2 ]

对算法的期望泛化误差进行分解：

https://www.cnblogs.com/makefile/p/bias-var.html