如何评估假设检验的好坏

Posted 2023-05-17

参考技术A

在 假说检验 中，有一种假说称为“ 零假设 ”，记为H0 ，假说检验的目的是利用统计的方式，推翻零假设的成立，也就是备择假设（H1）成立。

若零假设事实上成立，但统计检验的结果拒绝零假设（接受备择假设），这种错误称为 第一型错误(错误率记为α) 。若零假设事实上不成立，但统计检验的结果不拒绝零假设（接受零假设），这种错误称为 第二型错误(错误率记为β) 。

对假设检验的评估，就是检验 正确性 、 功效 是否符合预期。

对照试验的关键是数据和检验方法，我们要评估的是采用某种假设检验对样本数据检验的 正确性(α控制水平) 以及 功效(power) 。

对正确性、功效的评估，等同于对α、β的评估：

因此我们要 知道真相 ，才可以进行评估，一般使用两种数据：

先进行正确性检验，通过后再进行功效检验。

实际两组样本来自同一总体，没有区别。如果判断为显著差异，就是假阳性错误。进行大量测试（一般大于1000次），将预设α水平与实际频率进行对比评估。

实际两组两本来自有差异的总体，根据已知的差异、预设的α、β可以计算出 样本量 。从两个总体中随机抽预设样本量带入检验。将实际频率与预设power进行对比。

直接通过各种科学计算工具可以进行模拟。

通过成熟模拟产生类似于实际情况的数据往往比较复杂，可以通过历史数据进行模拟测试。
AA测试：比较简单，可以对干净的历史数据进随机抽样测试。实际没有干预，真实情况没有区别的。
AB测试：可以对历史数据进行挑选出两个有差异的样本，对这两个样本进行bootstrap重采样。此时可以认为两个样本就是实际总体，易知实际的总体效果。

经过合理的对假设检验的检验，我们可以非常有信心告诉用户：我们的检验是对的，我们的检验是高效的。

R语言manova函数多元方差分析(MANOVA)单因素多元方差分析的两个假设是多元正态性和方差-协方差矩阵的齐性QQ图评估多元正态性mvoutlier包中的aq.plot函数检验多变量异常值

R语言使用manova函数进行多元方差分析(Multivariate analysis of variance (MANOVA))、单因素多元方差分析的两个假设是多元正态性和方差-协方差矩阵的齐性、QQ图评估多元正态性、使用mvoutlier包中的aq.plot函数检验多变量异常值（Assessing test assumptions）