如何使用任何 t 检验比较数据集上的分类器？

Posted 2023-03-13

【中文标题】如何使用任何 t 检验比较数据集上的分类器？

【英文标题】：How I can compare between classifiers on data set by using any t-test?

【发布时间】：2014-05-11 14:42:31

【问题描述】：

我想通过使用任何 t 检验来比较数据集上的分类器。我的问题在这里我应该使用什么来进行比较。前任。分类器 1 我将为准确率、精度、召回率等建立列；分类器 2 也是如此。然后应用任何 t 检验。这是合乎逻辑的吗？如果不是我怎么能做这个比较？哪个工具可以进行这种比较？

提前致谢

【参考方案1】：

基本问题是你想展示什么？

只要您确定准确度的分布（或您在不同数据集上测量的任何值：召回率、准确率等）是正态分布的，您就可以尝试您的建议（t 检验）。在我看来，尚不清楚他们是否会这样做。

为了比较两个分类器在数据集上的性能，人们通常会计算 ROC curve，并且通常使用相等错误率或曲线下面积 (AUC)。 AUC 与 Mann-Whitney U 统计量相关。

在固定数据集上比较两个二元分类器时通常会做的其他事情是评估McNemar test，以评估性能差异是否具有统计学意义。

【讨论】：

感谢亲爱的 carlosdc 的回答，我真的需要了解我如何使用 McNemar 检验或配对 t 检验来显示性能差异是否具有统计显着性。你能解释一下我该怎么做吗？再次感谢