Measurement of Inter-Rater Reliability in Systematic Review

Abstract

서 론 체계적 문헌고찰(systematic review)에서 데이터 추출은 연구 목 적에 맞는 정보를 검색된 일차 문헌에서 뽑아내는 과정으로 연구 의 질을 결정하는 중요한 과정 중에 하나이다. 한 명의 연구자가 데 이터를 추출할 경우 평균 8%의 유의한 데이터가 누락된다고 하며, 두 명의 연구자가 각각 독립적으로 데이터를 추출할 경우 유의한 데이터의 누락 없이 거의 완벽하게 데이터를 추출할 수 있다고 한 다[1]. 따라서 데이터 추출 시에는 최소한 두 명의 연구자가 각각 독 립적으로 데이터를 추출한 후 그 일치 여부를 확인하는 과정이 필 요한데 이때 사용되는 지표가 평가자 간의 신뢰도(inter-rater reliability , IRR)이다[2]. 신뢰도(reliability)란 측정한 값들이 얼마나 일관적이고 동일한 결과를 보이는가 하는 개념이다. IRR은 여러 명의 평가자(rater)들 이 동일한 조건에서 어떤 대상에 대해 평가를 할 때 의견이 일치되 는 정도를 나타내는 척도로써 높은 IRR은 평가자료나 평가방법이 안정되고 일관성이 있으며 정확하다는 것을 의미한다[3]. IRR을 측 정하는 방법은 자료의 종류와 평가자의 수에 따라 여러 가지가 있지 만 본 종설에서는 두 명의 평가자가 범주형 자료(categorical data) 를 평가하는 경우로 한정하여 대표적인 몇 가지 방법에 대해 살펴 보도록 하겠다. 본 론 1. 퍼센트 일치도(percent agreement) 일치도(agreement)란 한 표본을 여러 번 반복 측정한 결과가 서 로 어느 정도 일치하는가를 나타내는 신뢰도 평가의 방법 중 하나 이다. 두 명의 평가자 A와 B가 각각 독립적으로 N개의 자료를 '1' 또 Hanyang Med Rev 2015;35:44-49 http://dx.