Excel计算Fleiss Kappa分数

这个分数是用来评估多名评估员对于一系列观测样本的评估的一致性。Fleiss Kappa分越高，说明分歧越小，大家做出的判断都差不多，反之分数越低，分歧越大。
维基百科上的分数和对应解释，一般0.8以上被认为基本完美的同意，0.6-0.8被认为大量的同意，以此类推。

现在有这样一堆数据：

表示有10个样本，和5种可以类别（A-E），每一行数字的总和都是14，说明有14个评估员。

先进行横向比较， P i P_i Pi​表明的是对于第i个样本，大家的一致程度, 其计算公式是这一行(所有数据的平方和-n)/(n*(n-1))，这里的n表示评估员个数，即14
对于第一行，则有：
P 1 = 0 2 + 0 2 + 0 2 + 0 2 + 1 4 2 − 14 14 ( 14 − 1 ) ≈ 0.213 P_1 = \frac{0^2+0^2+0^2+0^2+14^2-14}{14(14-1)} \approx 0.213 P1​=14(14−1)02+02+02+02+142−14​≈0.213

Excel 公式: =SUMSQ(A1:E1)-14/(14*13)

因为我们已经知道了每一行总和，如果不知道的情况下，就把14替换成SUM(A1:E1).

然后通过拖拽，使得每一行都被计算：

如果你的数据有很多，那么想要拖拽时，可以先点击你需要的那一列，按住ctrl+shift+下，选中所有列，然后按ctrl+D，即可对该列执行相同操作。

然后再对每一列进行计算，计算公式为（某一列总和)/(列长*评估员数量），这里列长为10，评估员为14，所以总和是140。同样也可以用所有列/行的总和表示。

针对第一列，计算结果如下：

p 1 = 0 + 0 + 0 + 0 + 0 + 2 + 7 + 3 + 2 + 6 + 0 14 ∗ 10 ≈ 0.143 p_1 = \frac{0+0+0+0+0+2+7+3+2+6+0}{14*10} \approx 0.143 p1​=14∗100+0+0+0+0+2+7+3+2+6+0​≈0.143

Excel计算方法为：

=SUM(A1:A10)/SUM($A1:$E10)

然后分别计算所有 P i P_i Pi​的平均值，即第F行平均值 P ˉ ≈ 0.378 \bar{P} \approx 0.378 Pˉ≈0.378

再计算所有 p j p_j pj​的平方和，即第11行的平方和 P e ˉ ≈ 0.213 \bar{P_e} \approx 0.213 Pe​ˉ​≈0.213

最后可获得kappa分数 κ = P ˉ − P e ˉ 1 − P e ˉ = 0.378 − 0.213 1 − 0.213 = 0.210 \kappa = \frac{\bar{P}-\bar{P_e}}{1-\bar{P_e}} = \frac{0.378-0.213}{1-0.213}=0.210 κ=1−Pe​ˉ​Pˉ−Pe​ˉ​​=1−0.2130.378−0.213​=0.210

所以最后根据分数，一致性只有0.21，可以被认为是Slight agreement。