Çok Boyutlu Test Yapılarında Alfa, Tabakalı Alfa ve Omega Güvenirlik Katsayılarının Karşılaştırılması

Abstract

Bu çalışmada çok boyutlu ölçümlerde iç tutarlık anlamında güvenirliğin değerlendirilmesinde Cronbach alfa katsayısı yerine daha uygun alternatiflerini kullanma konusunda farkındalık oluşmasına katkı sağlamak amaçlanmıştır. Bu amaç kapsamında örneklem büyüklüğü (100, 200 ve 400), boyutlar arası korelasyon (0,00 ve 0,50), maddeler arası korelasyon (0,30-0,50 ve ≥0,75), test uzunluğu (10 ve 20) ve boyutlara düşen madde sayısı (5-5, 7-3, 10-10 ve 15-5) koşulları altında iki boyutlu basit ve karmaşık test yapılarında üretilen verilerde alfa, tabakalı alfa ve omega katsayılarının performansı incelenmiştir. Ayrıca araştırmacılara tabakalı alfa ve omega katsayılarının manuel olarak kolaylıkla hesaplanabildiğini göstermek amacıyla örnekler sunulmuştur. Veriler R programı ile psych ve sirt paketleri kullanılarak analiz edilmiştir. Araştırmanın sonucunda güvenirlik kestirimleri üzerinde en fazla etkisi olan değişkenlerin sırasıyla maddeler arası korelasyon ve boyutlar arası korelasyon olduğu bulunmuştur. Test uzunluğunun ilişkisiz modellerde maddeler arası düşük korelasyon koşulu altında güvenirlik kestirimleri üzerinde daha fazla etkiye sahip olduğu görülmüştür. Örneklem büyüklüğü ortalama güvenirlik kestirimleri üzerinde etkili bulunmamıştır ancak kestirimlerin hatası üzerinde etkili bulunmuştur. Omega ve tabakalı alfa katsayılarının performansı benzer bulunurken alfa katsayısı ise bu katsayılardan daha düşük güvenirlik değerleri kestirmiştir. Hem alanyazına hem de mevcut çalışmanın sonuçlarına dayalı olarak araştırmacılara, çok boyutlu ölçümlerde iç tutarlılık anlamında güvenirlik kanıtı olarak alfa katsayısını kullanmamaları ya da tek başına kullanmamaları; bunun yerine omega, tabakalı alfa gibi daha uygun katsayıları kullanıp raporlamaları önerilir.In this study, it is aimed to contribute to raising awareness about using more suitable alternatives instead of Cronbach's alpha coefficient in the evaluation of reliability in terms of internal consistency in multidimensional measurements. For this purpose, it is examined that how alpha, stratified alpha and omega coefficients are affected by the sample size (100, 200 and 400), correlation between dimensions (0.00 and 0.50), correlation between items (0.30-0.50 and ≥0.75), test length (10 and 20) and the number of items per dimensions (5-5, 7-3, 10-10, and 15-5) in the data simulated in two-dimensional simple and complex test structures. In addition, examples are presented to the researchers to show that the stratified alpha and omega coefficients can be easily calculated manually. Data were analyzed with R program using psych and sirt packages. As a result of the study, it is found that the variables that had the most effect on the reliability estimations were the correlation between items and correlation between dimensions, respectively. It is observed that test length has a greater effect on reliability estimates under the condition of low correlation between items in unrelated models. The sample size is not effective on the average of reliability estimations, but it is effective on the error of the estimations. While the performance of the omega and stratified alpha coefficients are quite similar, the alpha coefficient estimates lower reliability values than these coefficients. Based on both the literature and the results of the present study, it is suggested that the alpha coefficient should not be reported, or not be reported alone, as proof of reliability in terms of internal consistency in multidimensional measurements; instead, it is recommended to use and report more appropriate coefficients such as omega, stratified alpha.