Kappa系数

Kappa系数用于一致性检验

也可以用于衡量分类精度

kappa系数的计算是基于混淆矩阵的

kappa计算结果为-1~1，但通常kappa是落在 0~1 间，可分为五组来表示不同级别的一致性：0.0~0.20极低的一致性(slight)、0.21~0.40一般的一致性(fair)、0.41~0.60 中等的一致性(moderate)、0.61~0.80 高度的一致性(substantial)和0.81~1几乎完全一致(almost perfect)。 
引自百度百科Kappa系数

公式

k=po−pe1−pe

po是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度

假设每一类的真实样本个数分别为a1,a2,...,aC

而预测出来的每一类的样本个数分别为b1,b2,...,bC

总样本个数为n

则有：pe=a1×b1+a2×b2+...+aC×bCn×n

例子

上图就是个混淆矩阵

po=239+73+280664=0.8916

pe=261×276+103×93+300×295664×664=0.3883

因此：

k=0.8916−0.38831−0.3883=0.8228