当多个人或多种方法就同一问题给出不同的评价、标注或结果时，评价者间一致度(inter-rater reliability)计算可以给出一个数值，用来衡量这些结果之间的一致性程度，用来代表这些结果的可信程度。
计算评价者间一致度的方法有好几种，详见wiki(https://en.wikipedia.org/wiki/Inter-rater_reliability)。
Krippendorf's Alpha是计算评价者间一致度的方法之一，计算公式如下：
具有以下特性及优点：
(1)评价者的个数任意
(2)不同评价结果的数量任意
(3)可以为不同种类的评价结果设定不同的差异衡量标准
(4)允许数据不完整
(5)对于大数量数据和小数量数据的处理方法相同
扫描二维码关注公众号，回复：
4426427 查看本文章
Krippendorf's Alpha一次只计算对于一个variable评价结果的一致性。计算过程如下：
(1)得到关于某变量评价结果的矩阵
(2)算出coincidence matrix
对于某个unit，若存在某两个结果c和k，则对于这两个结果，c-k和k-c均要算进coincidence matrix
(3)选择衡量标准
(4)计算一致度
参考论文：
[1]Computing Krippendorff’s Alpha-Reliability
PS：
(1)評等者間信度(inter-rater reliability)：檢測兩位以上的醫護人員(或檢驗方法)診斷結果是否吻合，
(2)評等者內信度(intra-rater reliability)：檢測同一位醫護人員(或檢驗方法)重覆診斷的結果是否一致。