机器学习之overfiting

Posted 2020-10-07 youxiaogeo

     

有错欢迎指正，别让小弟继续错下去。

 

      我们在使用机器学习过程中，经常会overfiting，训练样本大的话，还好，不用考虑这个

问题。但是，当数据量小的时候，加上模型的结构还不想改变。比如，你想尝试使用vgg16

网络进行训练，对于vgg的VC维来说是比较大的，但是，你只有几百张图片，这样，的话就很

算法就很容易学不到东西，这时候，你可以尝试加大weight-decay，通过weight-decay抑制over-fiting

也就是减少vgg的VC维（有类似的作用哦），具体可以见：台大，林轩田的《机器学习基石》中14课介绍的。

通常lambda（weight-decay）取0.0001.

   当你的数据量很大很大的时候且这时候对于模型不会发生overfilling，这时候，将lambda（weight-decay）=0

反而是更好的选择。