比较两个用户完成的编码,以衡量评估者之间的可靠性或用户之间编码的一致性程度。
不能使用查询向导来运行编码比较查询,这些查询必须在向导外部进行设置,如下所述:
注意
如何解释Kappa值?
解释Kappa值的一套近似准则是:
Kappa值
解释
小于0.40
一致性不佳
0.40 – 0.75
大致良好的一致性
大于0.75
很好的一致性
当百分比一致性较高时,为什么Kappa值会较低?
因为Kappa系数计算考虑了用户之间偶然达成一致性的可能性,所以即使百分比一致较高,Kappa的值也可能很低。
例如,如果任一用户尚未在节点上对大多数材料来源进行编码,但是每个用户都在节点上对材料来源的小部分进行了完全不同的编码,则用户之间的百分比一致性会很高。但是由于这种情况很可能是偶然发生的(即,如果两个用户都随机编码了一个小段),则Kappa系数很低。
负Kappa系数是什么意思?
Kappa系数小于或等于零表示两个用户之间(在偶然的情况下除外)在节点上对材料来源中的哪些内容可以编码没有任何一致。
我所有的Kappa系数均为0或1。是什么问题呢?
这最可能表示被比较的两个用户之一尚未在选定节点上对任何选定材料来源进行编码。
在编码比较查询结果中:
上海卡贝信息技术有限公司