深度学习中训练loss一直不变

Posted 2021-11-05 TOPthemaster

训练loss一直不变

在之前的文章中，分别做了LeNet，NiNNet，AlexNet，VGGNet的训练测试，在NiN和VGG中，经常遇到训练时loss一直居高不下的原因，网上较为完善的解释一般如下：

我应该属于其中的第四种，反复修改了学习率，损失函数和momentum参数后，跑了很久它终于开始收敛了，数据集大概有60k，在经过两个epoch后，开始收敛，可能是由于心浮气躁，每次测试都只让记录了几个batch参数，每个batch1500张训练图左右，没看到效果，便认为它已经没有进步了放弃了，甚至怀疑自己是否让这个网络参数更新了吗，后面loss终于开始变了以后，才松了一口气，在此记录一下，以便以后查看。