Comparison of Validity of Classification Made According to DINA Model with Criterion-Referenced and Normative Assessment/Bağıl ve Mutlak Değerlendirme ile DINA Modele Göre Yapılan Sınıflamaların Geçerliğinin Karşılaştırılması

Abstract

The purpose of this research is to examine the validity of classifications by DINA Model as a Cognitive Diagnostic Model and by traditional methods. In order to make comparisons between DINA Model and criterion-referenced and normative models, a measurement tool that belongs to “measurement and assessment in education” class which is appropriate for DINA Model analyses is developed. Properties necessary for answering each item of measurement tool are determined by scholars and the Q matrix which shows item-property relation is prepared considering the compatibility of decisions made by various scholars. Above mentioned measurement tool is applied to 471 undergraduates from the Faculty Education and Arts and Sciences of Ege University. Raw scores of undergraduates are classified according to their success, that is whether they passed the class or failed, through criterion-referenced and normative assessment. And then this classification is compared with other classifications based on DINA Model. The comparison of assessment by normative assessment and classifications by DINA Model shows that the results are different for 50 undergraduates who failed and 28 who passed the class. As a consequence of the study, it is observed that the inconsistency between the normative assessment and DINA Model is 16.5% for the whole group. In assessments done by criterion-referenced, for the students who failed, two methods give the same results. However, for 87 students who are supposed to pass according to criterion-referenced assessment, DINA Model results show that these undergraduates are not qualified to give the right answers of the items. The incompatibility between assessments according to criterion-referenced and classifications according to DINA Model is calculated as 20%. Key Words: Cognitive Diagnostic Models, DINA Model, Classification validity, Q Matrix Genişletilmiş Özet Problem: Bu çalışmada, Bilişsel Tanı Modellerinden(BTM) biri olan DINA model ve geleneksel yöntemlerle yapılan sınıflamaların geçerliği incelenmiştir. DINA model, ikili yetenek modellerine benzeyen bir örtük sınıf modelidir. Bu model çoğu BTM'de görüldüğü gibi madde özellik ilişkisini temel alır. Modelin iyi işleyebilmesi, bir maddenin doğru cevaplanması için gerekli olan özelliklerin doğru belirlenmesine bağlıdır. DINA modelde özelliklerle ilişkilendirilen maddelerin dağılımını gösteren bir Q matrisi hazırlamak gerekmektedir. Q matris her bir maddenin doğru cevaplanması için gerekli olan özelliklerin belirlendiği 1-0 örüntüsüdür. Bu matriste bir madde tek bir özellikle ilişkilendirilebildiği gibi birden çok özelliklede temsil edilebilir. DINA model cevaplayıcının gözlenen yeteneğinin altına yatan örtük özelliği ortaya çıkartmayı amaçlamaktadır. Bu anlamda model, örtük özellikle gözlenen özellik arasındaki ilişkiyi olasılıkla temellendirmekte ve her madde için iki madde parametresinin sınıflanmasını sağlamaktadır. Bunlar s “kaydırma” (slip) ve g “tahmin” (guess) parametreleridir. Bu parametreler yardımıyla model öğrencileri her madde için temel iki sınıfta değerlendirir. Bu sınıflardan ilki yokluk sınıfı (null class) yani beklenen hiçbir beceriye sahip olmayan öğrencilerin oluşturduğu grup ve diğeri de tam sınıf (full class) yani bütün becerilere sahip olan öğrencilerin sınıfıdır. Model cevaplayıcıların maddelere verdiği yanıtlardan yola çıkarak her bir cevaplayıcının Q matris tarafından tanımlanan özelliklere sahip olup olmadıklarını belirler. Araştırma karar verme amacı taşıyan testlerde geleneksel yöntemlerle yapılan sınıflamalar ile DINA modelle belirlenen sınıflamaların, tutarlığını incelemektir. Testi alan bireyler hakkında bağıl ya da mutlak değerlendirme ölçütlerine göre verilen geçti kaldı kararlarının öğrencilerin ölçülen özelliğin alt yetenek düzeylerine sahip olup olmamaları bakımından ne derece uyum sağladığı çalışma kapsamında incelenmiştir. Yöntem: Araştırma, geliştirilen bir testin BTM'ye uygunluk düzeyini belirleme bakımından var olan bir durumu ortaya çıkartmak amacı taşımaktadır. Bu nedenle bu araştırma betimsel bir araştırma olarak değerlendirilebilir. Bunu yanında sınıflama geçerliğine ilişkin farklı teknikleri karşılaştırma olanağı da verdiğinden kuramsal bir araştırma olarak da ele alınabilir. İki yöntem arasında karşılaştırılmaların yapılabilmesi için DINA modelle analiz yapılmaya uygun “eğitimde ölçme ve değerlendirme” dersine ait bir ölçme aracı geliştirilmiştir. Ölçme aracındaki her bir maddeyi doğru cevaplamak için gerekli olan özellikler uzmanlar tarafından belirlenmiş ve madde özellik ilişkisini gösteren Q matrisi uzman uyumu gözetilerek hazırlanmıştır. Araştırmanın evrenini Ege Üniversitesinde Ölçme Değerlendirme dersi alan 471 öğrenci oluşturmaktadır. Ölçme aracı geliştirildikten sonra 10 farklı bölüm öğrencilerinin oluşturduğu 471 kişilik çalışma grubuna uygulanmıştır. Uygulama sonucunda öğrencilerin ham puanları mutlak ölçüt ve bağıl ölçüt kullanılarak geçti kaldı kararlarına göre sınıflandırılmıştır. Bu sınıflandırma ile DINA modele dayalı sınıflandırmalar karşılaştırılmıştır. Bulgular ve Sonuç: Mutlak ölçüt kullanılarak yapılan değerlendirme ve DINA model sınıflandırmalarının karşılaştırması sonucunda, öğrenciler hakkında mutlak ölçütle belirlenen geçti kaldı kararlarıyla DINA modelle belirlenen öğrencilerin sahip olduğu özellik sayısı arasında %84.5 oranında bir uyum olduğu gözlenmiştir. Çalışma sonuçları iki yöntemin uyumu kadar, hakkında geçti ya da kaldı kararı verilen öğrencilerin sahip oldukları özellik sayıları bakımından da değerlendirilmelidir. Bu noktada araştırmada dikkat çekilmek istenen önemli bir noktada belirlenen özelliklerden çoğuna sahip olmasına rağmen mutlak değerlendirme içinde hakkında kaldı kararı verilen öğrencilerdir. Bağıl ölçüt kullanılarak yapılan değerlendirmelerde hakkında kaldı kararı verilen öğrenciler için iki yöntem aynı sonuçları vermiştir. Bununla birlikte DINA model sınıflamalarıyla bağıl ölçütle verilen geçti kararları arasındaki uyum yaklaşık %80 düzeyinde hesaplanmıştır. Sonuç olarak bağıl değerlendirmede gerekli özelliklere sahip olduğu halde dersten başarısız sayılan öğrenci bulunmamakla birlikte hakkında geçti kararı verilen her beş öğrenciden biri gerekli özelliklere sahip olmadığı halde dersten başarılı sayılmıştır. Mutlak ve bağıl ölçüt kullanıldığı durumda bölümlerin dersten başarı yüzdeleri ile DINA modelle belirlenen sahip oldukları özellik ortalamaları incelendiğinde, mutlak değerlendirme sonucunda yapılan sınıflamaların DINA model sınıflamalarıyla daha uyumlu olduğu gözlenmiştir. Bu anlamda mutlak ölçüt kullanılarak yapılan sınıflamaların gerçek duruma daha uygun bir sınıflama geçerliği verdiği görülmektedir. Anahtar Kelimeler: Bilişsel Tanı Modelleri, DINA Model, Sınıflama geçerliği, Q Matriks