TensorFlow API 中的正则化损失是啥？它不与任何其他损失函数对齐

Posted 2023-03-27

【中文标题】TensorFlow API 中的正则化损失是啥？它不与任何其他损失函数对齐

【英文标题】：What Is Regularisation Loss in TensorFlow API? It Doesn't Align With Any Other Loss FunctionTensorFlow API 中的正则化损失是什么？它不与任何其他损失函数对齐

【发布时间】：2021-05-14 00:17:50

【问题描述】：

我正在使用 V2 模型动物园训练 EfficientDet V7 模型，并在 TensorBoard 中有以下输出：

这很好，你可以看到我的分类和定位损失正在下降到低水平（如果这是一个单独的问题，我稍后会担心过度拟合） - 但正则化损失仍然很高，这使我的总损失保持不变在相当高的水平。我似乎无法 a) 找到一个清晰的解释（对于新手），关于我所看到的正则化损失（它在这种情况下代表什么）和 b）关于为什么它可能如此之高的建议。

【参考方案1】：

通常，正则化损失类似于根据神经网络的权重计算的 L2 损失。这种损失的最小化往往会缩小权重的值。 这是一种正则化（因此得名）技术，可以帮助解决过度拟合等问题（如果您想了解更多信息，也许this article 可以提供帮助）。

底线：您无需为此做任何事情。

【讨论】：

我将使用提供的链接进行进一步研究 - 谢谢。