机器学习笔记：误差的来源（bias & variance）

Posted 2021-09-15 UQI-LIUWJ

1 bias & variance

简单的模型——bias大，variance小

复杂的模型——bias小，variance大

2 variance

3 bias

黑线——实际的曲线

蓝线——我们预测的曲线

4  bias v.s. variance

 

•  如果你的模型在训练集上误差都很大，那么此时模型应该是欠拟合
•  如果你的模型在训练集上误差很小，但是在测试集上误差很大，那么此时模型应该是过拟合

5 如何处理欠拟合问题 

        欠拟合的时候，可能我们的目标函数都不在我们的输出函数空间内

此时我们可以：

• 添加更多的特征

• 使用一个更复杂的模型

6 如何处理过拟合问题

机器学习笔记：过拟合_UQI-LIUWJ的博客-CSDN博客

但是这两种方案都有弊端

• more data——我们可能没有这么多的数据（很多研究需要人为的数据增强）
• 正则化——限制函数空间（太陡峭的可能就会直接被否掉）