统计学基础之假设检验

Posted zym-yc

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了统计学基础之假设检验相关的知识,希望对你有一定的参考价值。

目录:

一、基本概念

  1、原假设

  2、备择假设

  3、两类错误

  4、显著性水平

  5、p值

  6、单侧检验

  7、双侧检验

二、假设检验的分类

  1、一个总体参数的假设检验

  • 总体均值的检验
  • 总体比例的检验
  • 总体方差的检验  

  2、两个总体参数的假设检验

  • 两个总体均值之差的检验
  • 两个总体比例之差的检验
  • 两个总体方差比的检验

 

 

一、基本概念

假设检验是用来判断样本与样本,样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。其基本原理是先对总体的特征作出某种假设,然后通过抽样研究的统计推理,对此假设应该被拒绝还是接受作出推断。

(1)先假设总体某项假设成立,计算其会导致什么结果产生。若导致不合理现象产生,则拒绝原先的假设。若并不导致不合理的现象产生,则不能拒绝原先假设,从而接受原先假设。
(2)它又不同于一般的反证法。所谓不合理现象产生,并非指形式逻辑上的绝对矛盾,而是基于小概率原理:概率很小的事件在一次试验中几乎是不可能发生的,若发生了,就是不合理的。至于怎样才算是“小概率”呢?通常可将概率不超过0.05的事件称为“小概率事件”,也可视具体情形而取0.1或0.01等。在假设检验中常记这个概率为α,称为显著性水平。而把原先设定的假设成为原假设,记作H0。把与H0相反的假设称为备择假设,它是原假设被拒绝时而应接受的假设,记作H1。

1、原假设:转自:https://blog.csdn.net/qq_41228218/article/details/90489582

  原假设亦称待验假设、虚无假设、解消假设,一般记为Ho。

  假设检验的基本思想是概率性质的反证法。根据所考察问题的要求提出原假设和备择假设,为了检验原假设是否正确,先假定原假设是正确的情况下,构造一个小概率事件,然后根据抽取的样本去检验这个小概率事件是否发生。如果在一次试验中小概率事件竟然发生了,我们就怀疑原假设原假设的正确性,从而拒绝原假设如果在一次试验中小概率事件没有发生,则没有理由怀疑原假设原假设的正确性,因此接受原假设。

平均数比较的原假设是:平均数相等。
单样本t检验中原假设是观测者与检验值没有显著差异
正态分布的原假设是:服从正态分布。
方差齐次性检验的原假设是:方差相等。
相关性检验的原假设是:不相关。
差异性检验中原假设是无差别假设
eg:
列联表中的卡方检验原假设为: 行列变量独立

2、备择假设

备择假设包含关于总体分布的一切使原假设不成立的命题。备择假设亦称对立假设、备选假设。

设总体技术图片 的分布函数技术图片 中,技术图片 为未知参数,技术图片 ,技术图片为参数空间。我们将参数空间技术图片 分解为互不相交的两个部分技术图片 及技术图片 ,即技术图片 . 考虑检验问题:

技术图片技术图片 为非空子集,
技术图片 是假设检验的对象,称
技术图片 为原假设(或零假设),称
技术图片 为备择假设(或备选假设,对立假设)。
 
 
如果技术图片只含有两个点,即若
技术图片 ,则有
技术图片这时称
技术图片 及
技术图片 分别为简单原假设及简单备择假设。
 
 
如果技术图片多于两个点,即若
技术图片 ,而
技术图片 为非单点集,即有
技术图片则称
技术图片 为简单原假设
技术图片 为复合备择假设。
 
注:若
技术图片
 及
技术图片
 都是非单点集,则称
技术图片
 及
技术图片
 都是复合的。

3、两类错误

  在进行假设检验时提出原假设和备择假设,原假设实际上是正确的,但我们做出的决定是拒绝原假设,此类错误称为第一类错误。原假设实际上是不正确的,但是我们却做出了接受原假设的决定,此类错误称为第二类错误。

  第一类错误(Ⅰ类错误)也称为 α错误,是指当虚无假设(H0)正确时,而拒绝H0所犯的错误。这意味着研究者的结论并不正确,即观察到了实际上并不存在的处理效应。
可能产生原因:
1、样本中极端数值。
2、采用决策标准较宽松。
  第二类错误(Ⅱ类错误)也称为β错误,是指虚无假设错误时,反而接受虚无假设的情况,即没有观察到存在的处理效应。
可能产生的原因:
1、实验设计不灵敏。
2、样本数据变异性过大。
3、处理效应本身比较小。
  两类错误的关系
1、 α+β不一定等于1。
2、在样本容量确定的情况下,α与β不能同时增加或减少。
3、统计检验力。(1-β)

4、显著性水平

  显著性水平是估计总体参数落在某一区间内,可能犯错误的概率,用α表示。当原假设为正确时人们却把它拒绝了的概率或风险。它是公认的小概率事件的概率值,必须在每一次统计检验之前确定,通常取α=0.05或α=0.01。这表明,当作出接受原假设的决定时,其正确的可能性(概率)为95%或99%。

  显著性水平是在进行假设检验时事先确定一个可允许的作为判断界限的小概率标准。检验中,依据显著性水平大小把概率划分为二个区间,小于给定标准的概率区间称为拒绝区间,大于这个标准则为接受区间。事件属于接受区间,原假设成立而无显著性差异;事件属于拒绝区间,拒绝原假设而认为有显著性差异 [2]  。对显著水平的理解必须把握以下二点:
1、显著性水平不是一个固定不变的数值,依据拒绝区间所可能承担的风险来决定。
2、统计上所讲的显著性与实际生活工作中的显著性是不一样的。

5、p值

  P值是用来判定假设检验结果的一个参数,也可以根据不同的分布使用分布的拒绝域进行比较。当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P值很小,说明原假设情况的发生的概率很小,而如果出现了,根据小概率原理,我们就有理由拒绝原假设,P值越小,我们拒绝原假设的理由越充分。总之,P值越小,表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”还是“高度显著的”需要我们自己根据P值的大小和实际问题来解决。

  在一个概率模型中,统计摘要(如两组样本均值差)与实际观测数据相同,或甚至更大这一事件发生的概率。换言之,是检验假设零假设成立或表现更严重的可能性。p值若与选定显著性水平(0.05或0.01)相比更小,则零假设会被否定而不可接受。然而这并不直接表明原假设正确。p值是一个服从正态分布的随机变量,在实际使用中因样本等各种因素存在不确定性。产生的结果可能会带来争议。

为理解P值的计算过程,用Z表示检验的统计量,ZC表示根据样本数据计算得到的检验统计量值。 

左侧检验技术图片P值是当技术图片
时,检验统计量小于或等于根据实际观测样本数据计算得到的检验统计量值的概率,即p值
技术图片
右侧检验技术图片
P值是当μ=μ0时,检验统计量大于或等于根据实际观测样本数据计算得到的检验统计量值的概率,即p值技术图片
双侧检验技术图片
P值是当μ=μ0时,检验统计量大于或等于根据实际观测样本数据计算得到的检验统计量值的概率,即p值技术图片
 
在原假设为真的条件下,检验统计量的观察值大于或者等于其计算值的概率(通俗点说P值为当原假设为真时所得到的样本观察结果或更极端结果出现的概率)
转自:https://blog.csdn.net/weixin_34120274/article/details/92154510
    P值很小,说明发生这种情况的概率很小,拒绝原价 
理解
P值就是 原假设为真的概率,a 是显著性水平,代表小概率事件
当在双侧检验中 , 当 a =0.05,P < 0.025(a/2=0.025) 则拒绝原假设(说明原假设出现的概率比小概率事件还要小,当然要拒绝),相反则接受原假设、
当在单侧检验中,当 a =0.05 ,P < 0.05 则拒绝原假设

6、单侧检验

  当要检验的是样本所取自的总体的参数值大于或小于某个特定值时,所采用的一种单方面的统计检验方法。
  单侧检验包括左单侧检验和右单侧检验两种。如果所要检验的是样本所取自的总体的参数值是否大于某个特定值时,则采用右单侧检验;反之,若所要检验的是样本所取自的总体的参数值是否小于某个特定值时,则采用左单侧检验。
  单参数假设检验问题
(1)技术图片
(2)技术图片称为单侧假设检验问题 。
技术图片 为
技术图片 上的单参数概率密度族且关于实值统计量
技术图片 具有非降单调似然比,则关于单侧假设检验问题,
 
 
(a)存在水平有
技术图片的 UMP 检验的检验函数
技术图片其中常数
技术图片 和 c 由下式确定:
技术图片
(b)这个检验的势函数技术图片是非降的,且在集合
技术图片 上是严格增加的。
 
(c)在一切使得技术图片 的检验函数
技术图片 中,
 
由(a)中所确定的检验函数
技术图片 ,使得对任意的
技术图片 ,
技术图片 都达到最小。
而对单侧假设检验问题(2),则类似上面的 (a) ,(b),(c) 结论均成立,只需要将(a) 中的第一个式子中的不等号改变方向即可。

7、双侧检验

指当统计分析的目的是要检验样本平均数和总体平均数,或样本成数有没有显著差异,而不问差异的方向是否是正差还是负差时,所采用的一种统计检验方法。

单参数假设检验问题
(1)技术图片
(2)技术图片 或
技术图片 ,
 
(3)技术图片 或
技术图片
称为双侧假设检验问题
 
 
设样本
技术图片服从单参数指数族分布(即概率密度满足
技术图片 形式,其中
技术图片 为实参数
技术图片 是
技术图片 的严增函数)。
(1)关于双侧假设检验问题
技术图片存在水平为
技术图片 的 UMPU 检验,其检验函数为
技术图片其中常数
技术图片 和
技术图片
 由下式确定:技术图片技术图片
2)关于双侧假设检验问题
技术图片 或
技术图片 ,存在水平为
技术图片 的 UMPU 检验,其检验函数为
技术图片其中常数
技术图片 和
技术图片
 由下式确定:技术图片
3)关于双侧假设问题
技术图片 或
技术图片 ,存在水平为
技术图片 的 UMP 检验,其检验函数依赖于充分统计量
技术图片 ,形如
技术图片
其中常数技术图片 和
技术图片 由下式确定:
技术图片
 

二、假设检验的分类

1、一个总体参数的假设检验

  • 总体均值的检验
  • 总体比例的检验
  • 总体方差的检验  

2、两个总体参数的假设检验

  • 两个总体均值之差的检验
  • 两个总体比例之差的检验
  • 两个总体方差比的检验

 

以上是关于统计学基础之假设检验的主要内容,如果未能解决你的问题,请参考以下文章

数据分析统计学基础

概率论与数理统计-ch8-假设检验

线性回归--假设检验(F统计量P-value)

线性回归--假设检验(F统计量P-value)

线性回归--假设检验(F统计量P-value)

统计分析之参数(假设)检验