如何在 F-beta 分数中选择 beta

Posted 2023-03-12

【中文标题】如何在 F-beta 分数中选择 beta

【英文标题】：How to choose beta in F-beta score

【发布时间】：2019-03-26 20:30:14

【问题描述】：

我正在使用网格搜索来优化随机森林拟合平衡数据集的超参数，但我正在努力选择哪种模型评估指标。考虑到这个问题的真实背景，假阴性比假阳性更昂贵。我最初尝试优化召回，但我最终得到了极高数量的误报。我的解决方案是使用 beta > 1 来优化 f-beta 分数。我的问题是，如何最好地选择 beta？如果我可以计算出假阴性和假阳性的成本，我可以设置 beta = 假阴性成本/假阳性成本吗？这种方法有意义吗？

【问题讨论】：

你的方法是有效的。 F1 的常见替代方案是 F1/2 和 F2，其中 F2 赋予召回的权重两倍。

【参考方案1】：

为了给精度更多的权重，我们在 区间 0 为了给召回更多权重，我们在区间 1 中选择一个 Beta 值

当您设置 beta = 假阴性成本/假阳性成本时，如果假阴性的成本高于假阳性的成本，您将给予召回更多的权重，所以它会起作用，但这并不意味着这是您问题的最佳解决方案。

优化 Beta 与数据的形状相关，因此最好在数据上尝试不同的 Beta 值，直到获得最佳值。