一致性检验之Kappa、ICC、kendall协调系数的差别

Posted 2023-04-05

参考技术A 一致性检验的目的在于比较不同方法得到的结果是否具有一致性。检验一致性的方法有很多比如：Kappa检验、ICC组内相关系数、Kendall W协调系数等。每种方法的功能侧重，数据要求都略有不同：

Kappa系数检验 ，适用于两次数据（方法）之间比较一致性，比如两位医生的诊断是否一致，两位裁判的评分标准是否一致等。

ICC组内相关系数检验 ，用于分析多次数据的一致性情况，功能上与Kappa系数基本一致。ICC分析定量或定类数据均可；但是Kappa一致性系数通常要求数据是定类数据。

Kendall W协调系数 ，是分析多个数据之间关联性的方法，适用于定量数据，尤其是定序等级数据。

 

（1）Kappa检验

Kappa检验分为简单Kappa检验和加权Kappa检验，两者的区别主要在于：

如果研究数据是绝对的定类数据（比如阴性、阳性），此时使用简单Kappa系数；

如果数据为等级式定类数据（比如轻度，中度，重度；也或者不同意，中立，同意）；此时可使用加权（线性）Kappa系数。

应用举例

两个医生分别对于50个病例进行MRI检查（MRI检查诊断共分三个等级，分别是轻度，中度和重度），对比两名医生检查结果诊断的一致性水平。

根据上表可知，两位医生对于MRI检查诊断结论具有较强（Kappa值=0.644）的一致性。

（2）ICC组内相关系数

ICC组内相关系数可用于研究评价一致性，评价信度，测量复测信度（重测信度）等。相对于Kappa系数，ICC组内相关系数的适用范围更广，适用于定量或者定类数据，而且可针对双样本或者多样本进行分析一致性。但ICC的分析相对较为复杂，通常需要从三个方面进行分析并且选择最优的ICC模型；分别是模型选择，计算类型和度量标准。

模型选择上，需要考虑是否将当前结论延伸推广到其它研究中，也或者考虑是否为研究数据的绝对相等程度。

计算类型上，如果不需要考虑系统误差则使用“一致性”，如果需要考虑系统误差则使用“绝对一致性”。

度量标准上，如果是原始数据则使用“单一度量”，如果是计算后的数据，则使用“平均度量”。

应用举例

3个医生对于10位术后病人的恢复情况评分；现在希望通过分析研究3个医生的打分一致性水平情况，使用ICC组内相关系数进行研究。录入后的ICC数据格式如下：

本次使用的是原始数据非计算后数据，因而使用单一度量标准结果即ICC(C,1)，ICC组内相关系数=0.921，说明3位医生的评价具有高度一致性，也说明此次3名医生给出的打分有着非常高的可信性。

（3）Kendall协调系数

Kendall协调系数，也称作Kendall和谐系数，或Kendall一致性系数。通常用于比较多组数据的一致性程度。

应用举例

4个评委对于10个选手进行评分，最低为1分，最高为10分；现在希望通过分析研究4个评委的打分一致性情况。

​从上表可以看出：协调系数为0.853（P<0.01），大于0.8，说明4个评委的评分结果具有很强的一致性。

​

1、ICC的适用场景最多，包括定量或定类数据，同时可针对多相关样本进行一致性分析；而Kappa一致性系数主要针对2个相关数据且针对定类数据进行一致性分析；Kendall W协调系数适用于定量数据，且更多倾重于数据关联性研究。

2、分析前要注意数据的格式，每种方法录入的数据格式都不大一样，一定要整理成正确的数据格式再分析。

登录 SPSSAU官网 体验在线数据分析 ​​​​

一致性检验指标Kappa(cappa)系数

1 定义

百度百科的定义：

它是通过把所有地表真实分类中的像元总数（N）乘以混淆矩阵对角线（Xkk）的和，再减去某一类地表真实像元总数与被误分成该类像元总数之积对所有类别求和的结果，再除以总像元数的平方减去某一类中地表真实像元总数与该类中被误分成该类像元总数之积对所有类别求和的结果所得到的。

这对于新手而言可能比较难理解。什么混淆矩阵？什么像元总数？
我们直接从算式入手：

[k = frac{p_0-p_e}{1-p_e} ]

(p_0)是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度
假设每一类的真实样本个数分别为(a_1,a_2,...,a_c)
而预测出来的每一类的样本个数分别为(b_1,b_2,...,b_c)
总样本个数为n
则有：(p_e=a_1×b_1+a_2×b_2+...+a_c×b_c / n×n)

1.1 简单例子

学生考试的作文成绩，由两个老师给出 好、中、差三档的打分，现在已知两位老师的打分结果，需要计算两位老师打分之间的相关性kappa系数：

从上面的公式中，可以知道我们其实只需要计算(p_0 ,p_e)即可：

Po = (10+35+15) / 87 = 0.689
a1 = 10+2+8 = 20; a2 = 5+35+5 = 45; a3 = 5+2+15 = 22;
b1 = 10+5+5 = 20; b2 = 2+35+2 = 39; b3 = 8+5+15 = 28;
Pe = (a1b1 + a2b2 + a3b3) / (8787) = 0.455
K = (Po-Pe) / (1-Pe) = 0.4293578

可以说提到kappa到处都是两个老师的例子，哈哈

2 指标解释

kappa计算结果为[-1,1]，但通常kappa是落在 [0,1] 间

第一种分析准则--可分为五组来表示不同级别的一致性：

0.0~0.20极低的一致性(slight)

0.21~0.40一般的一致性(fair)

0.41~0.60 中等的一致性(moderate)

0.61~0.80 高度的一致性(substantial)

0.81~1几乎完全一致(almost perfect)