何时需要多重比较校正？

Posted 2023-03-12

【中文标题】何时需要多重比较校正？

【英文标题】：When is Multiple Comparison Correction necessary?

【发布时间】：2018-02-12 21:14:41

【问题描述】：

我在假设检验方面不是很有经验，当多重比较问题发生时有问题理解？

据我了解，多重比较问题发生在尝试从单个数据库执行多个统计测试时。因此，为了得出正确的结论，应调整显着性水平。 （我说的对吗？）

在我的情况下，我有一个数据库，我对数据库的不同部分执行了几个 t 检验。换句话说，每个测试的数据与另一个测试完全不同，而所有数据都属于一个数据库。那么，原则上我的测试中不应该存在多重比较问题，对吗？

提前致谢。

【参考方案1】：

多重假设检验尝试同时对您的所有变量执行假设检验。当对单个变量的一些假设失败时，您会拒绝您的 null，而不是与您的 所有 假设失败（非常不可能的事件）相反。

例如，当您对所有变量使用 95% 的置信区间进行多重检验时，您实际上是在针对上述所有假设失败的第二种情况进行测试。这不是你想要的多重测试。因此，您的每个变量的置信区间应稍微放宽以适应只有 部分 假设失败的情况。

因此这真的取决于你的目标：

如果您正在针对涉及多个变量的场景进行测试（您想得出一个总体结论），那么是的，这是多个测试并且应该调整每个变量的置信区间。 如果您想对每个变量进行测试（您想为每个变量得出一个结论），那么您的每个测试都是单变量测试，您无需调整。