Tensorboard：为啥梯度图上有锯齿形图案？

Posted 2023-03-27

【中文标题】Tensorboard：为啥梯度图上有锯齿形图案？

【英文标题】：Tensorboard: Why is there a zigzag pattern at gradient plots?Tensorboard：为什么梯度图上有锯齿形图案？

【发布时间】：2019-11-26 00:28:24

【问题描述】：

这是一张 conv2d 层（内核）的梯度图。它有一个我想理解的锯齿形图案。我的理解是梯度从小批量变为小批量。但是为什么它在每个时期之后都会增加呢？

我正在使用默认设置的 Keras Adam 优化器。我不认为这是原因。辍学和批量标准化。也不应该是这个原因。我正在使用图像增强，但这不会改变它的行为从批次到批次。

有人有想法吗？

【问题讨论】：

这个问题很难回答。依据什么数据？你到底是怎么适配的？请提供一个完整的最小可验证示例...

【参考方案1】：

我以前在 keras 指标中看到过这一点。

在这种情况下，问题在于指标在每个时期都保持一个运行平均值，并且它们向 TensorBoard 报告的是“迄今为止的平均值”。

这些毕业生如何进入 TensorBoard？您是否将它们传递给tf.keras.metrics.Mean？如果是这样，您可能想在其上调用“reset_states”。也许在custom callback 的on_batch_end 中。

【讨论】：

我正在使用 keras tensorboard 回调：keras.callbacks.TensorBoard