An analysis of scoring via analytic rubric and general impression in peer assessment

Abstract

The aim of this research was to analyze and compare analytic rubric and general impression scoring in peer assessment. A total of 66 university students participated in the study and six of them were chosen as peer raters on a voluntary basis. In the research, students were supposed to prepare a sample study within the scope of scientific research methods course and were also expected to present their studies in class. While the students were giving a presentation, their course instructor and peer raters conducted scoring, firstly by using the analytic rubric and subsequently by using general impressions. Collected data were analyzed using the Rasch model. Consequently, it was found that students were distinguished from one another at a highly reliable rate using both scoring methods. Additionally, it was discovered that the differences between students’ ability levels were better revealed when analytic rubric was used. It was ascertained that there was a high level positive correlation between the ability estimations obtained from the scores performed by the peers and the instructor, regardless of the scoring method used. Finally, it was determined that ability estimations, corresponding peer raters’ analytic rubric and general impression scoring, held a positive and highly strong relation.Bu araştırmada, akran değerlendirmede analitik rubrikle ve genel izlenimle yapılan puanlamaların karşılaştırmalı olarak incelenmesi amaçlanmıştır. Araştırma 66 üniversite öğrencisi üzerinde yürütülmüş ve bu öğrencilerden gönüllülük esasına dayalı olarak seçilen altısı, çalışmada akran değerlendirici olarak görev almıştır. Çalışmada, öğrencilerden bilimsel araştırma yöntemleri dersi kapsamında örnek bir çalışma hazırlamaları ve hazırladıkları çalışmayı sınıf ortamında sunmaları istenmiştir. Öğrenciler sunum yaparken dersin sorumlu öğretim elemanı ile akran değerlendiriciler, çalışmaları önce analitik rubriğe göre ve ardından genel izlenimle puanlamıştır. Puanlamadan elde edilen veriler, Rasch modeline göre analiz edilmiştir. Araştırmada, her iki puanlama yönteminde de bireylerin yüksek güvenirlikte birbirinden ayırt edildiği belirlenmiştir. Bununla birlikte, analitik rubrik kullanıldığında bireylerin yetenek düzeyleri arasındaki farklılıkların daha hassas bir biçimde ortaya konulduğu saptanmıştır. Hem analitik rubrikle hem de genel izlenimle yapılan değerlendirmede; akranlar ile öğretim elemanının verdiği puanlar üzerinden hesaplanan yetenek kestirimleri arasında, pozitif yönlü yüksek korelasyonlar bulunmuştur. Akranların analitik rubrikle ve genel izlenimle yaptıkları puanlamalara karşılık gelen yetenek kestirimlerinin pozitif yönlü güçlü bir ilişki içerisinde olduğu sonucuna varılmıştır.