Python数据分析假设检验的基本思想原理和步骤

Posted 2022-01-01 Better Bench

目录

• 1 假设检验的基本思想
• 2 假设检验的基本原理
• 3 假设检验中可能犯的错误
• 4 假设检验的基本步骤
• • 4.1 第一步：提出假设
  • 4.2 第二步：确定理论的显著性水平$\alpha$
  • 4.3 第三步：计算用于检验的统计量
  • 4.4 第四步：根据统计量对应的P值进行判断假设
• 5 假设检验中总体的集中不同情况

1 假设检验的基本思想

举例理解，如检验"小明是一个从来不做坏事的好人"

按照这个假设前提，小明不会干坏事或干坏事的几率是非常小的，但是只有有一个人发现他干坏事，说明事情的假设是不可靠的，就可以否定这个说法。当然这个结论是不确定的，是有犯错的概率的。

2 假设检验的基本原理

基本原理就是观测小概率时间在假设成立的情况下是否发生，如果再一次试验中小概率事件发生了，说明该假设在一定的显著性水平下不可靠或不成立，从而否定假设

如果一次试验中小概率事件没有发生，只能说明没有足够理由相信假设是否错误，但是不能说明假设是正确的，因为在现有的条件下无法手机所有的证据去证明它是正确的。

3 假设检验中可能犯的错误

假设检验的结论是在一定的显著性水平下得出的，当我们去观测事件并下结论的时候，是有可能犯错误的。在假设检验过程中，无法不保证不犯错误，这些错误归纳为两类

• 第一类错误：当假设为真的时候，却否定它而犯的错误，即拒绝正确假设的错误，也叫弃真错误。犯第一类错误的概率记为$\alpha$,所以通常叫做$\alpha$错误，$\alpha$= 1-置信度
• 第二类错误：当假设为假时却肯定它而犯的错误，即接受错误假设的错误，也叫纳伪错误，犯第二类错误的概率记为$\beta$，所以通常也叫做$\alpha$错误。

两类错误在其他条件不变的情况下，是相反想成的，即$\alpha$增大时，$\beta$减小；$\alpha$减小时，$\beta$增大。想要同时减小两类错误，只能增加样本量。

在Python数据分析中，$\alpha$称为理论的显著性水平，P称为实际的显著性水平，P值也具体指在记性检验过程汇总实际犯第一类错误的概率

当P值比$\alpha$小：说明实际计算的显著性水平比理论的显著性水平更小，小概率时间在一次试验中发生的几率更小。在P值的显著性水平条件下，如果还能观测到小概率时间发生，则说明假设更加不可靠，可以对架设做出否定的判断。

当P值比$\alpha$大：在P值的显著性水平下，如果能够观测得到小概率事件发生，说明假设可能没有任何问题，因为本来观测一个概率比较大的时间，起发生的可能本来就比较大，不能对假设做出否定的判断。

总之，在Python中进行假设检验，P值越小越能否定原假设。

4 假设检验的基本步骤

4.1 第一步：提出假设

假设就是对总体特征的一个特定描述。假设分为原假设和备择假设

原假设（零假设）：通常情况下把想要搜集证据去否定的结论作为原假设。

备择假设（研究假设）：通常情况下爱把想要搜集证据去支持的结论作为备择假设。当备择假设含有$\ne$时，称为双侧或双尾检验；当备择假设汇总含有<或>时称为单侧或单尾检验。

4.2 第二步：确定理论的显著性水平$\alpha$

理论的显著性水平$\alpha$，通常情况下取0.05、0.1\\或0.001等等常用数值。

4.3 第三步：计算用于检验的统计量

根据一直条件和总体分布情况，在原假设成立的情况下，选择计算用于检验的统计量。

其中$\sigma$表示总体标准差；$n_i$表示样本容量，$n_d$表示成对样本的个数；$\overline{x}$、p、$s^2$分别表示样本均值、样本比例和样本方差；$d_i$表示成对样本的两组变量值之差；${\mu }_0$ 、$\pi$、${\sigma }_0^2$表示原假设成立时的总体均值、总体比例和总体方差。

4.4 第四步：根据统计量对应的P值进行判断假设

python中工具检验函数，可以直接计算出P值，如果P$\le$ $\alpha$，说明在显著性水平$\alpha$条件下，原假设不成立，拒绝原假设，选择备择假设；如果P>$\alpha$，说明在显著性水平条件下，没有充分证据表明我们应当拒绝假设。

如果没有指定$\alpha$的值，则P值越小越显著。

5 假设检验中总体的集中不同情况

在统计推断之前，应该根据总体的不同分布情况，选择不同统计量形式，检验所用统计量的形式和步骤取决于所抽取样本的样本量大小，无论大样本还是小样本。

（1）大样本的检验方法

样本来量大于30的称为大样本。以总体均值的假设检验为例，在大样本的情况下，根据重心极限定理，均值的抽样分布服从正态分布，所以可以使用正态统计量（Z统计量）进行假设检验。

（2）小样本的检验方法

样本量小于30的称为小样本，对于小样本的情况分为两种。当总体方差已知时，仍然使用正态统计量。当总体方差未知时，则使用t统计量，t统计量服从自由度为（n-1）的t分布。