机器学习中的偏差和方差是什么？

Posted 2021-06-26 Data+Science+Insight

机器学习中的偏差和方差是什么？

 

机器学习全部是关于给定输入数据（X）和给定输出数据（Y），然后去寻找一个最佳映射函数（F），这个映射函数通常也被叫做目标函数。

任何机器学习算法的预测误差可以分解为三部分，即：偏差误差+方差误差+不可约的误差（对于给定的模型，我们不能进一步减少的误差）。在这个文章中，我们将重点来讨论机器学习中的前两个误差。

1）机器学习是去找到一个映射函数（F），这个函数也经常被称之为目标函数；

2）偏差是模型所做的简化假设，使得目标函数更加容易求解；

3）方差是在给定不同训练数据集的情况下，目标函数估计值所改变的量；

4）权衡是去调整一些参数使得偏差和方差之间相对平衡；

 

总结：

泛化误差可以分解成偏差的平方加上方差加上噪声。偏差度量了学习算法的期望预测和真实结果的偏离程度，刻画了学习算法本身的拟合能力，方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的影响，噪声表达了当前任务上任何学习算法所能达到的期望泛化误差下界，刻画了问题本身的难度。偏差和方差一般称为bias和variance，一般训练程度越强，偏差越小，方差越大，泛化误差一般在中间有一个最小值，如果偏差较大，方差较小，此时一般称为欠拟合，而偏差较小，方差较大称为过拟合。

 

相对较好的模型的顺序：方差小&