如果 ANN 产生完全不同的结果，该怎么办？

Posted 2023-03-12

【中文标题】如果 ANN 产生完全不同的结果，该怎么办？

【英文标题】：What to do about an ANN producing completely different results?

【发布时间】：2019-12-31 22:12:27

【问题描述】：

我正在尝试训练一个人工神经网络，我知道之前有人问过为什么结果会有所不同，答案是权重的初始化是随机的。

我目前正在尝试进行一些网格搜索来调整参数，但我发现我在完全相同的参数搜索中得到了非常不同的结果。

我的问题是调整超参数的最佳做法是什么？我在想一种方法是锁定随机种子，但我担心如果我锁定我的随机种子并以这种方式进行调整，那么如果我选择一个好的种子或者不是能够找到绝对最小值，这只是运气。

接下来的方法是只运行几次并找到最佳结果范围，然后使用这些权重吗？ （如果是这样，有人知道该怎么做吗？我通过 sklearn 包装器使用 Keras 是 KerasRegressor）

任何帮助将不胜感激。如果需要，很乐意提供代码示例！

【参考方案1】：

使用交叉验证来评估样本外的结果。从所有评估模型中选择最佳模型。此外，您应该有一个用于最终性能评估的测试集。

不用担心随机初始化权重担心过拟合。

【讨论】：

每次交叉验证都会产生与初始化权重大不相同的结果

如果您对验证性能不满意，您可能没有足够的训练数据，我会推荐一个更简单的模型。

可以预期不同的交叉验证结果，无需担心。但是，由于您对 cv 性能估计的方差很大，因此模型选择会过拟合。