如何训练深度学习网络

Posted 2023-03-12

【中文标题】如何训练深度学习网络

【英文标题】：how to train deep learning network [closed]

【发布时间】：2018-01-09 03:48:30

【问题描述】：

有两件事我不知道如何处理它们。

我用 alexnet 训练了网络，它无法收敛。并且没有过拟合。然而，当我用 lenet 训练网络时，它收敛了。这是为什么呢？ 我训练了网络来解决问题。它收敛了，但还不够。 softmax 损失不能更低（0.2）。我该如何处理呢。

【参考方案1】：

无法过拟合可能是由于网络容量不足或代码本身存在错误。你是从头开始训练模型吗？你自己写的模型？您是否正在从事与 Imagenet 分类类似规模的任务？

在任何类型的模型训练过程中都会出现损失的平稳期。但是如果没有任何学习曲线显示跨时期的损失，“0.2”的损失是没有意义的。

如果不知道您正在处理的确切任务、您使用的框架、源代码、学习曲线和/或您已采取的任何调试步骤，没有人能够真正回答您的问题。我建议你回到 cs231 lectures（特别是第 4,5 讲）或 Andrew Ng's Coursera 课程中的机器学习基础知识，以获得更基础的知识。

【讨论】：

1.是的，我的 alexnet 模型中有一个错误。

2.谢谢你的建议。