Pamukkale critical thinking skill scale: a validity and reliability study

Abstract

The aim of this study is to develop a valid and reliable measurement tool that measures critical thinking skills of university students. Pamukkale Critical Thinking Skills Scale was developed as two separate forms; multiple choice and open-ended. The validity and reliability studies of the multiple-choice form were constructed on two different theoretical frameworks as classical test theory and item-response theory. According to classical test theory, exploratory and confirmatory factor analyses were performed, to item-response theory, the Generalized Partial Credit Model (GPCM) for one-dimensional and multi-category scales was tested for the construct validity of the multiple-choice form of the scale. Analysis results supported the unidimensional structure of the scale. The reliability analyzes showed that the internal consistency coefficient of the scale and the item-total correlation values were high enough. The test-retest analysis results supported that the scale shows stability over time regarding the field it measures. The results of the item-response theory-based analysis also showed that the scale met the item-model fit assumptions. In the evaluation of the open-ended form of the scale, a rubric was used. Several studies were conducted on the validity and reliability of the open-ended form, and the results of the analysis provided psychometric support for the validity and reliability. As a result, Pamukkale Critical Thinking Skills Scale, which was developed in two forms, is a valid and reliable measurement tool to measure critical thinking skills of university students. The findings were discussed in the light of the literature and some suggestions were given.Bu çalışmanın amacı, üniversite öğrencilerinin eleştirel düşünme becerilerini ölçen kanıt temelli, geçerlik ve güvenilirliği yüksek bir ölçme aracı geliştirmektir. Pamukkale Eleştirel Düşünme Becerileri Ölçeği, çoktan seçmeli ve açık uçlu olmak üzere iki ayrı form olarak geliştirilmiştir. Çoktan seçmeli formla ilgili geçerlik güvenirlik çalışmaları klasik test kuramı ve madde-tepki kuramı olmak üzere iki farklı kuramsal çerçeve üzerine temellendirilmiştir. Klasik test kuramına göre ölçeğin çoktan seçmeli formunun yapı geçerliğini test etmek için açımlayıcı ve doğrulayıcı faktör analizi yapılmıştır. Analiz sonuçları ölçeğin tek boyutlu yapısını desteklemiştir. Ölçeğin güvenirlik çalışmaları kapsamında yapılan analizler, ölçeğin iç tutarlılık katsayısının .92 olduğunu, madde-toplam korelasyon değerlerinin .37 ile .84 arasında değiştiğini, eleştirel düşünme düzeyi düşük ve yüksek grupları anlamlı olarak ayırt edebildiğini göstermiştir. Test-tekrar test analizi sonuçları, ölçeğin ölçtüğü davranış alanına ilişkin zaman içinde kararlılık gösterdiğini destekler niteliktedir. Madde Tepki Kuramı temelli analiz sonuçları da ölçeğin, madde model uyumu varsayımlarını karşıladığını göstermiştir. Ölçeğin açık uçlu formunun değerlendirilmesinde ise araştırmacı/lar tarafından geliştirilen “Dereceli Puanlama Anahtarı” kullanılmıştır. Açık uçlu formun geçerlik ve güvenirliğiyle ilgili de bir dizi çalışma yapılmış, analiz sonuçları ölçeğin geçerliği ve güvenirliğine yönelik psikometrik destek sağlamıştır. Sonuç olarak, iki form halinde geliştirilen Pamukkale Eleştirel Düşünme Becerileri Ölçeği üniversite öğrencilerinin eleştirel düşünme becerilerini ölçmede kullanılabilecek geçerli ve güvenilir bir ölçme aracıdır. Bulgular alanyazın ışığında tartışılmış ve bazı öneriler verilmiştir.