python 数据分析不同情况下的t检验Wilcoxon符号秩检验Wilcoxon秩和检验卡方检验Fisher检验

Posted 2022-01-01 Better Bench

目录

• 1 单样本和两样本均值的t检验
• 2 单样本和两样本关于中位数的非参数检验
• 3 拟合优度的$X^2$检验
• 4 列联表的$X^2$检验及Fisher检验

1 单样本和两样本均值的t检验

（1）单样本

举例：$H_0:\mu =3.1\rightleftharpoons H_1:\mu \ne 3.1$

import scipy.stats as stats
import numpy as np

np.random.seed(1010)
x = np.random.normal(3,1,500)
stat,p_value = stats.ttest_1samp(x,3,1)
print(stat,p_value)

（2）两样本

举例：$H_0:{\mu }_1={\mu }_2\rightleftharpoons H_1:\mu \ne {\mu }_2$

import scipy.stats as stats
import numpy as np

np.random.seed(1010)
x = np.random.normal(3,1,500)
y = np.random.normal(3.2,1,500)
stat,p_value = stats.ttest_ind(x,y,equal_var=False)#不假定方差相等
print(stat,p_value)

2 单样本和两样本关于中位数的非参数检验

（1）单样本之Wilcoxon符号秩检验

$$H_0:M=3.1\rightleftharpoons H_1:M\ne 3.1$$

import scipy.stats as stats
import numpy as np

np.random.seed(1010)
x = np.random.normal(3,1,500)
stat,p_value = stats.wilcoxon(x-3.1,correction=True)
print(stat,p_value)

（2）两样本之Wilcoxon秩和检验

$$H_0:M_1=M_2\rightleftharpoons H_1:M_1<M_2$$

import scipy.stats as stats
import numpy as np

np.random.seed(1010)
x = np.random.normal(3,1,500)
y = np.random.normal(3.2,1,500)

stat,p_value = stats.mannwhitneyu(x,y,alternative='less')
print(stat,p_value)

3 拟合优度的$X^2$检验

（1）$X^2$检验

拟合优度检验是检验一组样本观测值是不是来自一个已知分布的总体。拟合优度的$x^2$检验的原理为：根据假设的分布可以在一些任意划分的k个范围计算出期望值$E_1,E2,...,E_k$，而根据在这些区域所得到的观测值$O_1,O_2,...,O_k$可以得到检验统计量$X^2={\sim }_{i=1}^k\frac{(O_i-E_i{)}^2}{E_i}$，渐渐服从$x^2$分布。

import scipy.stats as stats
import numpy as np

# 初始化举例的数据
size = 5000
x= stats.poisson.rvs(10,size = size,random_state=1010)
fig = plt.figure(figsize=(12,5))
H = plt.hist(x,20,color='white','hatch='/')
E = np.diff(stats.poisson.cdf(H[1],10))*size
h_0 = H[0]
# 卡方检验
chisq,p = stats.chisquare(f_obs=h_0,f_exp=E)
print(chisq,p)

拟合优度检验还可以用Kolmogorov-Smirnov检验

stat,p_value = stats.kstest(x,lambda x:stats.poisson.cdf(x,10))
print(stat,p_value)

4 列联表的$X^2$检验及Fisher检验

（1）Pearson $X^2$检验检验

import scipy.stats as stats
import numpy as np

#列联表
X =np.array([[10,20,4],[20,9,8]])#2×3的列联表

chi2,p,df,exp = stats.chi2_contingency(X)
print(p,df)

（2）似然比$X^2$检验

import scipy.stats as stats
import numpy as np

#列联表
X =np.array([[10,20,4],[20,9,8]])#2×3的列联表

chi2,p,df,exp = stats.chi2_contingency(X,lambda_='log_likelihood')
print(p,df)

（3）Fisher $X^2$检验

import scipy.stats as stats
import numpy as np

#列联表
X1 =np.array([[10,20],[20,9]])#2×2的列联表
oddsratio,p = stats.fisher_exact(X1)
print(oddsratio,p)