偏置-方差分解(Bias-Variance Decomposition)

Posted focusonoutput

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了偏置-方差分解(Bias-Variance Decomposition)相关的知识,希望对你有一定的参考价值。

Bias-variance 分解是机器学习中一种重要的分析技术。

给定学习目标和训练集规模,它可以

把一种学习算法的期望误差分解为三个非负项的和,即本真噪音noise、bias和 variance

 

noise 本真噪音是任何学习算法在该学习目标上的期望误差的下界;

( 任何方法都克服不了的误差)


bias 度量了某种学习算法的平均估计结果所能逼近学习目标的程度;

(独立于训练样本的误差,刻画了匹配的准确性和质量:一个高的偏置意味着一个坏的匹配)


variance 则度量了在面对同样规模的不同训练集时,学习算法的估计结果发生变动的程度。(due to overly complex model)

(相关于观测样本的误差,刻画了一个学习算法的精确性和特定性:一个高的方差意味着一个弱的匹配)

以上是关于偏置-方差分解(Bias-Variance Decomposition)的主要内容,如果未能解决你的问题,请参考以下文章

偏置-方差分解(Bias-Variance Decomposition)

机器学习理论知识部分--偏差方差平衡(bias-variance tradeoff)

偏差方差分解

”Unstanding the Bias-Variance Tradeoff“主题内容翻译

biasLFM分解推荐,java实现

SVD++分解