Beoordelaarsbetrouwbaarheid (niet) meten met behulp van Cohens kappa?

Abstract

Bij onderzoek naar beoordelaarsovereenstemming wordt frequent geadviseerd om Cohens kappa (kappa) te gebruiken als de schaal waarop de beoordeling wordt weergegeven van nominaal of ordinaal meetniveau is. Kappa is aantrekkelijk omdat hij corrigeert voor overeenstemming tussen beoordelaars op basis van toeval en dus de ‘werkelijke’ overeen-stemming laat zien.