是否有考虑偏差和方差的损失函数？

Posted 2023-03-28

【中文标题】是否有考虑偏差和方差的损失函数？

【英文标题】：Is there a loss function considering bias and variance?

【发布时间】：2022-01-16 13:59:54

【问题描述】：

我正在尝试更多地了解偏差和方差。

我想知道是否存在考虑偏差和方差的损失函数。 据我所知，高偏差会导致欠拟合，而高方差会导致过拟合。

图片来自here

如果我们可以考虑损失中的偏差和方差，它可能是这样的，bias(x) + variance(x) + some_other_loss(x)。我的好奇点分为两部分。

如果我们通常使用的损失已经考虑了偏差和方差，我如何在分数中分别衡量偏差和方差？

我认为，这类问题可能是一个基本的数学问题。如果您对此有任何提示，我将不胜感激。

感谢您阅读我的奇怪问题。

---

写完问题后，我意识到正则化是减少方差的方法之一。那么，3）这是衡量分数偏差的方法吗？

再次感谢您。

---

2022 年 1 月 16 日更新

我已经搜索了一下并回答了自己。如有理解错误，请在下方评论。

在训练过程中，Bais 由损失值表示，因此我们不需要额外的偏差损失函数。

但是对于方差，没有办法评分，因为如果我们想测量它，我们应该得到训练损失和未见数据的损失。但是一旦我们使用看不见的数据作为训练损失，看不见的数据就是看得见的数据。因此，就模型而言，这将不再是看不见的数据。据我所知，没有办法衡量训练损失的方差。

我希望其他人可以得到帮助，如果你有想法，请评论你的想法。

【参考方案1】：

正如您已经明确指出的那样，高偏差 -> 模型与 良好拟合 相比是欠拟合的，而高方差 -> 与 良好拟合 相比是过拟合的。 测量它们中的任何一个都需要您提前知道良好拟合，这恰好是训练模型的最终目标。因此，在训练本身期间不可能测量 underfitting 或 overfitting。但是，如果您可以了解目标损失量，则可以使用提前停止回调在 良好拟合 附近停止。