Inter-Rater Agreement under Stratified Random Sampling Scheme

Abstract

Kappa coefficient is a popular statistic to measure the agreement between the classifications of two raters. The estimator of the coefficient and its variance are approximately satisfied by a simple random sampling method. To get more efficient results for confidence interval estimation of kappa, stratified random sampling method can also be used, alternatively. In this study, a bootstrap method under stratified sampling is suggested to use to estimate the confidence interval of kappa coefficient. The results are discussed over three data sets.Kappa katsayısı iki değerlendiricinin sınıflandırmaları arasındaki uyumu ölçen popüler bir istatistiktir. Kappa katsayısı ve varyansının tahmini yaklaşık olarak basit rasgele örnekleme yöntemiyle elde edilir. Kappa istatistiğinin güven aralığı tahmininde daha etkin sonuçlar elde edebilmek için tabakalı rasgele örnekleme yöntemi de kullanılabilir. Bu çalışmada, kappa katsayısının güven aralığı tahmin etmek için tabakalı rasgele örneklem seçimi altında bir bootstrap yöntemi önerilmiştir. Sonuçlar üç veri kümesi üzerinden tartışılmıştır.