偏差vs方差

Posted 2020-10-03 郑哲

在这部分我们检验多项式层数d和过拟合和欠拟合之间的关系。

1.我们区分是否是偏差或方差导致我们预测错误。

2.大偏差是欠拟合，大方差是过拟合。理想情况下，我们需要在这两者之间找到中庸之道。

 

当我们增加多项式的D时，训练误差会减小。

同时，交叉验证误差会随着d增加到一个点而减小，然后随着d的增加而增大，形成一个凸曲线。

 

这是总结在下面的图：

 

正则化和偏差/方差

 

 

在上图中，我们看到，作为λ的增加，我们的配合变得平滑。另一方面，当λ接近0，我们倾向于过度拟合数据。那么我们如何选择我们的参数λ得到它“恰到好处”？为了选择模型和正则化项λ，我们需要：

1.创建一个列表的Lambda表达式(i.e. λ∈{0,0.01,0.02,0.04,0.08,0.16,0.32,0.64,1.28,2.56,5.12,10.24});

2.创建一组具有不同次方或任何其他变形的模型。

3.遍历λ和每个λ穿过所有的模型来学习一些Θ。

4.运用所得到的Θ计算交叉验证误差（计算λ）用JCV（Θ）（没有正规化或λ= 0）。

5.选择在交叉验证集上产生最低错误的最佳组合。

6.用最佳的组合Θ和λ，它适用于JTEST（Θ）是否对问题有很好的泛化。

 

学习曲线

在非常少的数据点上训练一个算法（如1, 2或3）将很容易有0个错误，因为我们总能找到一个二次曲线恰好触及这些点。因此：

1.作为训练集规模越来越大，对一个二次函数的误差增大。

2.误差的值在到达一个确定的m或一个训练集大小后会处于平稳状态

 

高偏差：

训练集数量太少：造成训练集的成本函数低，交叉验证集的高

训练集数量大：造成训练集和交叉验证集的成本函数都高

 

如果一个学习算法遭受高偏差，获得更多的训练数据本身就不会有多大帮助。

 

高方差：

训练集少：训练集误差小，验证集误差大

训练集大：训练集误差随训练数量增加而增加。验证集持续不平整的减少。

训练误差小于验证集，但是两者区别还是很大

 

如果一个学习算法是患有高方差，得到更多的训练数据可能帮助。

 

 

决定下一步做什么

我们的决策过程可以分解如下：

1.得到跟多训练样本：高方差

2.减少变量：高方差

3.增加变量：高偏差

4.增加多次项：高偏差

5.调低λ：高偏差

6.调高λ：高方差

 

诊断神经网络

1.一个参数较少的神经网络容易欠拟合

2.一个参数较多的神经网络容易过拟合。在这种情况下，你可以使用正则化（增加λ）来解决过度拟合。

 

采用单隐层是一个好的开始，默认。你可以训练你的神经网络上的一些隐藏的图层使用交叉验证集。然后你可以选择表现最好的一个。

 

模型复杂度效应：

1.低阶多项式（低模型复杂度）高偏差和低方差。在这种情况下，模型拟合不一致。

2.高阶多项式（高模型的复杂性）拟合训练数据非常好，测试数据非常糟糕。这些具有低偏差在训练数据，但非常高的方差。

3.事实上，我们希望在两者之间选择一个模型，它可以很好地概括，而且也能很好地拟合数据。