”Unstanding the Bias-Variance Tradeoff“主题内容翻译

Posted 2021-03-24 lzh1994

对预测模型讨论，预测误差（error）分两类：偏差（bias）造成的误差与方差（variance）造成的误差。最小化偏差与方差的一个权衡。理解这两类误差有利于诊断模型结果和避免过拟合和欠拟合。

偏差与方差

三种方式定义偏差与方差：概念、图形、数学

概念定义：

偏差造成的误差：预期/平均预测值 和 尝试正确预测的值之差。预期/平均预测值作何理解？多次建模，新数据新分析建立模型，由于数据随机，预测会产生一系列预测。偏见度量模型预测（models‘ predictions） 远离 正确值(the correct value)的程度.

方差造成的误差：对于给定数据点，模型预测的可变性。重复多次，方差就是对于给定点预测，在模型的不同实现之中变化的多少。

图形定义：

由靶心图可视化偏差与方差。靶心完全预测正确，偏离靶心预测差。训练中数据偶然变化。好的时候，集中在靶心；坏，outlier、非标准值（non-standard values）。散点图

图：

 

高/低 偏差/方差

数学定义：

The Elements of Statistical Learning中的定义：

Variable:预测Y，协变量(covariate)X，存在一种关系，Y=f(X)+e，误差项e为零均值正态分布。

 

 

文章来源：http://scott.fortmann-roe.com/docs/BiasVariance.html