神经分割网络根据测试批量大小给出不同的输出

Posted 2023-03-28

【中文标题】神经分割网络根据测试批量大小给出不同的输出

【英文标题】：Neural segmentation network gives different output based on test batch size

【发布时间】：2021-07-26 23:36:51

【问题描述】：

我已经在 (224, 224) 图像上实现并训练了一个神经分割模型。 但是，在测试期间，模型返回的结果会根据测试批次的形状略有不同。

以下图片是在我的预训练模型上进行测试时获得的结果。

第一张图片是我预测单个示例时得到的预测（我们称之为img0）（所以输入是[img0]，形状为(1,224,224)）

第二张图片是我对同一张图片的预测，但是当它在包含其他 7 张图片的批次中时（因此 输入 为 [img0, img1, ..., img7] 并且形状为 (8,224,224)）。 p>

与第二个输出相比，第一个输出比我预期的更接近。

但是，我不明白为什么输出开始时会有所不同...这应该是正常行为吗？ 提前致谢。

【问题讨论】：

你能分享一下model.summary()输出的最后几行吗？

【参考方案1】：

是的，批量大小是一个超参数，这意味着您应该反复试验以找到最佳值（超参数调整）。但你也应该意识到它对训练过程的影响。在每个批次中，将通过前馈批次中的样本来计算损失，然后使用该损失值执行反向传播。因此，如果您为批量大小选择一个较小的值，很可能您将无法找到全局最优值，而您只是在它周围波动甚至陷入局部最优值（从优化的角度来看）。不建议使用非常小的批量大小值（尤其是 1）。

此外，您需要一个验证集（多个样本）来完全确定您的模型是否准确。

【讨论】：

我认为用户只要求测试阶段而不是培训。

【参考方案2】：

此行为来自我模型中的批量标准化层。 我在调用模型时使用training=true。

因此，批量归一化会根据批次的范数对批次进行归一化，并且该范数会根据批次大小而变化。

因此，这是正常行为！