评价一致度计算(Krippendorff's Alpha)

Posted 2021-01-25 guo-xiang

当多个人或多种方法就同一问题给出不同的评价、标注或结果时，评价者间一致度(inter-rater reliability)计算可以给出一个数值，用来衡量这些结果之间的一致性程度，用来代表这些结果的可信程度。

计算评价者间一致度的方法有好几种，详见wiki(https://en.wikipedia.org/wiki/Inter-rater_reliability)。

 

Krippendorf‘s Alpha是计算评价者间一致度的方法之一，计算公式如下：

具有以下特性及优点：

(1)评价者的个数任意

(2)不同评价结果的数量任意

(3)可以为不同种类的评价结果设定不同的差异衡量标准

(4)允许数据不完整

(5)对于大数量数据和小数量数据的处理方法相同

Krippendorf‘s Alpha一次只计算对于一个variable评价结果的一致性。计算过程如下：

(1)得到关于某变量评价结果的矩阵

(2)算出coincidence matrix

对于某个unit，若存在某两个结果c和k，则对于这两个结果，c-k和k-c均要算进coincidence matrix

(3)选择衡量标准

(4)计算一致度

参考论文：

[1]Computing Krippendorff’s Alpha-Reliability

PS：

(1)評等者間信度(inter-rater reliability)：檢測兩位以上的醫護人員(或檢驗方法)診斷結果是否吻合，
(2)評等者內信度(intra-rater reliability)：檢測同一位醫護人員(或檢驗方法)重覆診斷的結果是否一致。