机器学习模型的实用建议

Posted 2021-03-12 luyunan

高方差/偏差的解决策略

高方差就是模型的训练误差与验证误差相去甚远，一般由于模型过拟合使得训练误差很低而验证误差很高；高偏差就是模型的训练误差与验证误差非常逼近但是都很高，往往由于模型欠拟合使得两者误差都很高。

高方差	高偏差
搜集更多的样本	获得额外特征
属性约简	获得多项式、核特征
增大正则化系数	减小正则化系数

引入一种观察算法性能的工具：学习曲线。学习曲线是一条反映训练误差与验证误差随训练样本量之间关系的曲线。如果算法是高偏差，那么你收集再多数据集也没用。高偏差的学习曲线训练线和验证线在很高的地方逼近，高方差的学习曲线训练线和验证线之间间距很大。