AI数学基础15——Bias(偏差) and Variance(方差)
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AI数学基础15——Bias(偏差) and Variance(方差)相关的知识,希望对你有一定的参考价值。
参考技术A 在讨论预测模型时,预测误差( Prediction errors)可以分为三类:1,由Bias导致的误差error due to "bias"
2,由Variance导致的误差error due to "variance"
3,由Noise导致的误差error due to "Noise"
所以:Error = bias + variance + noise. 下面我们主要讨论Bias和Variance
Bias(偏差)和Variance(方差)的定义与区别,如下图所示
由Bias导致的误差 :当数据足够,模型不够逼近或表达数据规律时,模型的预测值会偏离正确值很远,预测准确率很低,这种现象叫欠拟合(under-fitting)。简单来说,模型不对,就一定会出现偏差(Bias)。Bias衡量模型拟合训练数据规律的能力。
当Bias比较高,甚至无法拟合训练集,那么就要重新选择一个新的网络,比如有更多的隐藏层或者隐藏单元。
由Variance导致的误差 :方差(Variance)体现模型泛化能力(Generalization)。若一个模型对训练数据有效,对测试数据无效,则说明该模型泛化能力差,或者说,由Variance导致的误差大,也表明该模型对训练数据过拟合(over-fitting)。Variance越小,模型的泛化能力越高,对新的具备同样分布规律的数据预测效果越好。
当Variance比较高,最好的解决办法就是采用更多的数据;若不能获得更多的数据,可以通过正则化(Regularization)来减少过拟合。
模型的复杂度、Bias、Variance和Error的关系,可见下图:
如图所示,一个最佳的模型,其复杂度适中,其Variance和Bias都比较平衡,导致总体Error最小。
每个分类器都有一个最小的Error Rate,这个最小的,或者叫最优化的Error Rate叫 Bayes Error Rate 。模型的Error rate 接近 Bayes Error Rate,我们就认为该模型的Error Rate合格了,或者接近最优了。
参考文献
《 Understanding the Bias-Variance Tradeoff 》
《 Bias–variance tradeoff 》
以上是关于AI数学基础15——Bias(偏差) and Variance(方差)的主要内容,如果未能解决你的问题,请参考以下文章
2020-2021年顶会上关于解决偏差(bias)问题的文献整理