A new approach to computerized adaptive testing

Abstract

A new approach to computerized adaptive testing is presented on the basis of discrete-state discrete-time Markov processes. This approach is based on an extension of the G. Rasch model used in the Item Response Theory (IRT) and has decisive advantages over the adaptive IRT testing. This approach has a number of competitive advantages: takes into account all the observed history of performing test items that includes the distribution of successful and unsuccessful item solutions; incorporates time spent on performing test items; forecasts results in the future behavior of the subjects; allows for self-learning and changing subject abilities during a testing procedure; contains easily available model identification procedure based on simply accessible observation data. Markov processes and the adaptive transitions between the items remain hidden for the subjects who have access to the items only and do not know all the intrinsic mathematical details of a testing procedure. The developed model of adaptive testing is easily generalized for the case of polytomous items and multidimensional items and model structures.Представлен новый подход к компьютеризированному адаптивному тестированию, модель предъявления заданий которого описывается с помощью марковских процессов с дискретными состояниями и дискретным временем. Этот подход опирается на обобщение модели Г. Раша и имеет существенные преимущества перед адаптивным тестированием на базе современной теории тестирования (IRT). Преимуществами разработанного подхода являются: учёт особенностей процесса выполнения предъявленных заданий, включая затраченное на них время; прогнозирование поведения испытуемых; возможность самообучения и улучшения характеристик модели в процессе тестирования; простая процедура идентификации модели, использующая доступные результаты наблюдений. Разработанная модель адаптивного тестирования обобщается на случаи политомических заданий и нескольких шкал измерений.