深度学习中训练loss一直不变

Posted TOPthemaster

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度学习中训练loss一直不变相关的知识,希望对你有一定的参考价值。

训练loss一直不变

在之前的文章中,分别做了LeNet,NiNNet,AlexNet,VGGNet的训练测试,在NiN和VGG中,经常遇到训练时loss一直居高不下的原因,网上较为完善的解释一般如下:

我应该属于其中的第四种,反复修改了学习率,损失函数和momentum参数后,跑了很久它终于开始收敛了,数据集大概有60k,在经过两个epoch后,开始收敛,可能是由于心浮气躁,每次测试都只让记录了几个batch参数,每个batch1500张训练图左右,没看到效果,便认为它已经没有进步了放弃了,甚至怀疑自己是否让这个网络参数更新了吗,后面loss终于开始变了以后,才松了一口气,在此记录一下,以便以后查看。

以上是关于深度学习中训练loss一直不变的主要内容,如果未能解决你的问题,请参考以下文章

深度学习中训练loss一直不变

深度学习训练集和测试集loss损失值关系

在训练时,accuracy不变,loss一直在降低是啥原因

深度学习中收敛是什么意思?

深度学习中收敛是什么意思?

训练网络中出现loss等于Nan的情况几种思路