假设检验显著性水平

Posted 2022-11-24 jiangkejie

答案引自知乎

为什么统计上习惯于将显著性水平定为 0.05？

1. 

首先，什么是P值？

P值就是当原假设为真时，根据样本观察结果计算的检验统计量落入拒绝域的概率。如果P值很小，说明这种情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。

其次，显著性水平通常有两种取值（0.01和0.05）

1. 如果P<0.01，说明是较强的判定结果，拒绝原假设的条件。
2. 如果0.01<P值<0.05，说明较弱的判定结果，拒接原假设的条件。
3. 如果P值>0.05，说明结果无法拒绝原假设。

作者：fibears
链接：https://www.zhihu.com/question/38096459/answer/77078761

2. 

The difference between “significant” and “non-significant” is not itself statistically significant.
——Andrew Gelman
------------------------------------

楼上@许行 @Phil Zeng 已经引经据典，说得很清楚了。我就做个补充吧——

有次高校统计学课程教师培训，人大贾俊平老师说：“为何取.05的显著性水平（95％的置信水平）呢？因为第一个提出这种方法的人（应该Fisher大神吧）就是这么做的，大家也就跟着这么做了。其实，.1的显著性水平就够了。”

想想也是：在区间估计时，0.10的显著性（90％的置信水平）已经符合我们通常所说的十拿九稳了。并且，90％相比95％的置信区间，其估计的误差范围要更小，也就是，牺牲估计的把握度可以换来估计的精确度。

而在假设检验时，把犯I类错误的概率压缩到0.10以下，以10次才发生1次的样本作为小概率事件的证据来推翻原假设，一般情况下也够了（写论文时，这已经够打一颗"*"了）。当然在现实中，我们还需要在I类错误还是II类错误之间权衡——如果相比犯I类错误（弃真错误）、我们更不能忍受犯II类错误（取伪错误）的后果，鉴于犯这两类错误的概率是此消彼长的关系，0.1的显著性水平显然比0.05更能减少犯II类错误的机会。反之，如果想减少I类错误，而把显著性水平设得太小，就会增大II类错误的犯错机会。

综上，窃以为把默认的显著性水平设为0.10，有可能比0.05更好。然并卵，大家还是用0.05，因为习惯是多么不容易改变啊。

------------------
附：一般情况下α=0.1就够用了，不过p值是越小越好。

What Does it Mean When p-value < α?
(a) .10, we have some evidence that H0 is not true.
(b) .05, we have strong evidence that H0 is not true.
(c) .01, we have very strong evidence that H0 is not true.
(d) .001, we have extremely strong evidence that H0 is not true

——来源：Basic Statistics for Business & Economics (8th edition), 商务与经济统计学/（美）林德(Lind, D.A.)等PPT

 

作者：niaocu
链接：https://www.zhihu.com/question/38096459/answer/77104959

 

3. 

如果显著性水平Significance level太大了 那么我们的Confidence level就太小了 也就说明做这样的假设检验也就失去了意义。

 

作者：JackY

UCSD 2023‘ | NBFLS 2019’ 2016‘ | ENTJ

 

4. 

是否要取消这个0.05的说法也讨论了好多年……有半个多世纪了吧……

作者：匿名用户

 

5. 

 我把P值简单的理解为拒绝原假设范错误的概率。

作者：风之将尽

 

6. 

0.05=1-0.95
而0.95是标准正态分布中两个标准差的概率

翻译成人话就是
这件事发生的概率在正常的两个标准差的范围内，是可以接受的。
也就是俗语所说的，事不过三。

 

作者：匿名用户

 

 

总结一下，p值看做是拒绝原假设的证据，p值越小拒绝原假设的理由越充分。显著性水平alpha是人为设定的拒绝原假设理由充分性的阈值，alpha越小判定条件（拒绝）越强，也就越难以拒绝原假设，此时更容易犯第二类错误（取伪错误）。

 

当p  <  alpha时根据alpha的大小有不同的解释：

What Does it Mean When p-value < α?
(a) 0.1, we have some evidence that H0 is not true. 
(b) 0.05, we have strong evidence that H0 is not true. 
(c) 0.01, we have very strong evidence that H0 is not true. 
(d) 0.001, we have extremely strong evidence that H0 is not true.

——来源：Basic Statistics for Business & Economics (8th edition), 商务与经济统计学/（美）林德(Lind, D.A.)等PPT

 

显著性水平alpha的大小应当根据错误拒绝原假设H0（第一类错误：弃真）时所引起的损失大小决定。如果错误拒绝H0引起的损失很大，alpha就应当取较为保守的水平，即较强的判定条件。