比較兩個用戶完成的編碼,以衡量評估者之間的可靠性或用戶之間編碼的一致性程度。
不能使用查詢嚮導來運行編碼比較查詢,這些查詢必須在嚮導外部進行設置,如下所述:
注意
如何解釋Kappa值?
解釋Kappa值的一套近似準則是:
Kappa值
解釋
小於0.40
一致性不佳
0.40 – 0.75
大致良好的一致性
大於0.75
很好的一致性
當百分比一致性較高時,為什麼Kappa值會較低?
因為Kappa係數計算考慮了用戶之間偶然達成一致性的可能性,所以即使百分比一致較高,Kappa的值也可能很低。
例如,如果任一用戶尚未在節點上對大多數材料來源進行編碼,但是每個用戶都在節點上對材料來源的小部分進行了完全不同的編碼,則用戶之間的百分比一致性會很高。但是由於這種情況很可能是偶然發生的(即,如果兩個用戶都隨機編碼了一個小段),則Kappa係數很低。
負Kappa係數是什麼意思?
Kappa係數小於或等於零表示兩個用戶之間(在偶然的情況下除外)在節點上對材料來源中的哪些內容可以編碼沒有任何一致。
我所有的Kappa係數均為0或1。是什麼問題呢?
這最可能表示被比較的兩個用戶之一尚未在選定節點上對任何選定材料來源進行編碼。
在編碼比較查詢結果中:
上海卡貝信息技術有限公司