神经网络已经收敛的证据？ [关闭]

Posted 2023-03-12

【中文标题】神经网络已经收敛的证据？ [关闭]

【英文标题】：Evidence that neural network has converged? [closed]

【发布时间】：2018-05-21 00:44:22

【问题描述】：

我已经用 7 个可学习层训练了一个卷积网络大约 20 个小时。有哪些通用方法可以判断网络是否已收敛或仍需要训练？

这是第一个卷积层参数的直方图：

这是训练和测试集的损失和准确率图表：

【问题讨论】：

您可以通过绘制训练和验证/测试损失来获得一个想法。训练你的模型，直到两个图之间的距离减小或保持不变，但当它开始增加时，你应该停止它。

【参考方案1】：

显然，当您的分数不断提高（训练和测试）时，这意味着您走在正确的道路上，并且您将达到本地/全球最低水平。当你看到改变方向的分数在移动（训练仍然在下降，测试在上升）或者两个分数都停滞不前，那么是时候停下来了。

但是

当您使用准确性作为评估指标时，您只能得到模型的异常行为。例如：网络输出的所有结果都是最有价值的类的数量。 Explanation。这个问题可以通过使用 f1、logloss 等其他评估指标来解决，您会在学习期间看到任何问题。

对于不平衡的数据，您可以使用任何策略来避免不平衡的负面影响。就像softmax_cross_entropy in tensorflow 中的权重一样。实现你可以找到there。