数据分析-非参数秩方法

Posted 2023-01-12 吾仄lo咚锵

文章目录

• 两种处理方法比较的秩检验
• • Wilcoxon秩和检验
  • Smirnov检验
• 成对分组设计下两种处理方法的比较
• • 符号检验
  • Wilcoxon符号秩检验
• 多种处理方法比较
• • Kruskal-Wallis检验
• 分组设计下多种处理方法的比较
• • Friedman检验

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。

非参数秩方法，即不假定总体分布的具体形式，从数据本身获得所需信息，适用范围广，但忽略了分布类型，针对性差。

本文主要参考《数据分析》范金城，梅长林主编. -2版.

两种处理方法比较的秩检验

首先理解「秩」是什么，秩即顺序，是数据排序之后的位置。比如N个数据3，2，4，1，5，若按从小到大排序可以得到排序结果1，2，3，4，5，也就是第一个数据3的秩S₁为3，以此类推S₂=2，S₃=4，S₄=1，S₅=5。

此节即通过秩来比较两种不同处理方法的优劣，也就是将N个数据分为两组，两组分别用两种不同的处理方法，分别为$n$和$m$个（$m$=N-$n$），共$C_N^n$种分法，每种分配方式出现概率为$\frac{1}{C_N^n}$。

检验零假设$H_0$：两方法处理效果无显著差异。由于分组是随机的，则秩$(S_1,S_2,\cdot \cdot \cdot ,S_n)$的零分布$P_{H_0}{S}_1=s_1,S_2=s_2,\cdot \cdot \cdot ,S_n=s_n=\frac{1}{C_N^n}$。

Wilcoxon秩和检验

---

1. 单边假设检验

单边假设即在实验前认为新方法比旧方法好，比如是旧方法的改进版。备择假设$H_1$：新方法优于对照方法。

N个数据分为$n$和$m$个，排序后得到秩，秩分别记为$(S_1,S_2,\cdot \cdot \cdot ,S_n)$和$(R_1,R_2,\cdot \cdot \cdot ,R_m)$，记秩和为$W$，即$W_s=S_1+S_2+\cdot \cdot \cdot +S_n$，同理$W_r=R_1+R_2+\cdot \cdot \cdot +R_m$，得到各种组合情况下的秩和后，即可得到对应零分布。

其实$W_s$和$W_r$的零分布是相同的，用来检验$H_0$也是等价的，即可以算$n$和$m$中较小一个即可。

根据零分布计算$p$值，$p=P_{H_0}{W}_s\ge w_s$，与题目给的显著水平$\alpha$比较，若$p<\alpha$，则拒绝$H_0$，认为新方法比就方法好，否则接受$H_0$，认为两者不存在显著差异。

• 习题2.1.(1)：求$m$=2，$n$=4情况下，Wilcoxon秩和统计量$W_s$和$W_r$的零分布。
  解：$(S_1$,$S_2$,$S_3$,$S_4)$取各组值对应$W_s$如下表所示：

$(S_1$,$S_2$,$S_3$,$S_4)$	$W_s$
1 2 3 4	10
1 2 3 5	11
1 2 3 6	12
1 2 4 5	12
1 2 4 6	13
1 2 5 6	14
1 3 4 5	13
1 3 4 6	14
1 3 5 6	15
1 4 5 6	16
2 3 4 5	14
2 3 4 6	15
2 3 5 6	16
2 4 5 6	17
3 4 5 6	18

由上表得$W_s$的零分布，如下表所示：

$W$