用p-value检验Null hypothesis

Posted 2023-03-25

参考技术A 如果我们有一个假设，称之为null hypothesis（原假设），Statistical hypothesis test（统计假设检验）就是检验被观察的事件是不是属于null hypothesis。而significance test（显著性检验）是希望null hypothesis被否定的检验。例如，检测AB两个事件是否相关，约定俗成的是AB不相关为null hypothesis。而检测到相关是by chance 的概率就是p-value。

在确定假设的真假时，人们可能会犯两种错误：
一类错误是排除了真null hypothesis的错误（其概率记为α）；
二类错误是没有排除掉假null hypothesis的错误（其概率记为β）；

当我们只考虑一类错误来进行假设检验时，我们就称之为显著性检验。对于不同的样本检验方式自然不同，但检验的步骤万变不离其宗：
Step1: 写出null hypothesis和alternative hypothesis
Step2: 设定error level（对于显著性检验我们设定α）
Step3: 选择并计算Statistical Significance（对于服从正态分布的样本我们计算z-score）
Step4: 给出解释

一个非常简单的例子：
人群的智商服从正态分布，均值100，标准差15。现有一位老师号称自己带过的学生平均智商高于100.现在为了验证他的假设，从他的学生中抽取30人，均值112。那么可以说明这个假设为真么？
解：
H0: 学生均商=100; H1: 大于100。

引入另一个重要的一个概念critical value。critical value一边是accept region，一边是rejection region。Rejection region的面积比上整体，就是α。在正态分布中，critical value是z-score。也就是说，当我们做出假设后（step1），将我们能接受的α设定为0.05（step2），可以得到一个z-score。当我们的假设值（通过计算而来的z-score)落在rejection region, 我们就可以推翻原假设。
Z-score=X-µ（平均值）／ø（标准差），其意义是该样本的特征偏离了整体均值的Z个标准差。如果要计算多个样品的特征对于整体均值的偏离情况，用Z=X-µ（平均值）／（ø（标准差）／√n）,即多除以多个样本的个数的平方根。

根据Z score从Z-table可以推算出Null hypothesis的可能性，也就是样本落在均值Z个标准差以内的可能性。而1-该可能性就是p-value。所以说p-value=0.05说明可能性为95%。Null hypothesis有95%的可能性是正确的。

而在这道题目中Z=4.32，所得p-value远远大于α=0.05时所得的p值，所以推翻原假设。

在平均值与标准差并不知道的情况下，如果已知抽样样品的比例，可以换一种方式验证是支持还是反对null hypothesis。

e.g.:A researcher claims that more than 23% of community members go to church regularly. In a recent survey, 126 out of 420 people stated they went to church regularly. Is there enough evidence at α = 0.05 to support this claim? Use the P-Value method to support or reject null hypothesis.

参见 http://www.statisticshowto.com/support-or-reject-null-hypothesis/

在这里多提一点：
通过P-value来验证null hypothesis并不适用于所有情况。如果我们选定的cut off value（α） 是 0.05，意味着即使我们得到的p-value为0.05，我们依然有5%的可能性错误的推翻的原假设。也就是说在一次试验中，我们有5%的概率出现假阳性（得到的显著性结果并不显著，如并不相关的事件被我们认定为相关，并不具有差异的样品被我们认定为有差异）。那么n次试验中，我们得到错误结果的次数就是5%*n。当然，人们可以选测降低cut off value，但与此同时又会引入true discoveries 减少的问题。人们为了解决这种multiple testing problem，又推出了新的标准——q-value。

q -value是p-value基于False Discovery Rate（FDR）的修正，如果说P-value可以告诉我们某一次试验出现假阳性的概率，q-value则可以告诉我们多次试验得到的significance results出现假阳性的概率。
eg：假设在1000次实验中，我们得到了200个p小于0.01的显著性差异结果，如果p=0.01，则表示在这200个里有1000 0.01=10次结果是假阳性，而如果我们设定q=0.05，则表示在这200个结果中，只有200 0.01=2次结果是假阳性。

至于具体的操作大家可以参考 http://www.statisticshowto.com/benjamini-hochberg-procedure/