Similar or different? An Item Response Theory Analysis of the Synonyms Test in Adults with and without a History of Institutionalization

Abstract

The lack of valid and standardized instruments, directed on an assessment of the language domain in adolescents and adults in Russia postulates the urgent necessity of their development. To fi ll this gap, the language battery, ARFA-RUS, was created and applied in a large project investigating the long-term consequences of raring in institutional care settings on human development. In the current study, an Item Response Theory (IRT) approach was used to examine the psychometric properties of the Synonyms Subtest of ARFA-RUS as the fi rst step of validation of the battery. IRT results demonstrated the test is reliable for the low-to-moderate levels of the assessed ability; yet, to capture a wider ability range, more diffi cult items are needed. The ARFA-RUS Synonyms Subtest was less suitable for the postinstitutionalized group of adults; in this group, the latent ability estimate explained a lower percentage of variance in comparison to adults raised in biological families. With regard to item-specifi c analyses, two items demonstrated paradoxical patterns with decreased probability of correct response at increased ability. In addition, one item was eliminated from the fi nal version of the Synonyms Subtest due to its poor item fi t and low discrimination value.В России существует недостаток валидных и стандартизированных инструментов для оценки языкового домена у подростков и взрослых. Для восполнения этого пробела была создана языковая тестовая батарея ARFA-RUS... Методика использовалась в масштабном исследовательском проекте, посвященном долгосрочным эффектам институционального ухода на развитие. человека. В настоящей работе в качестве первого шага валидизации методики мы изучили психометрических свойств субтеста «Синонимы» батареи ARFA-RUS с помощью подхода item response theory (IRT). Результаты IRT-анализа показали надёжность теста для оценки низких и средних уровней способности, однако тест требуется дополнить более сложными заданиями, чтобы охватить больший диапазон способности. Субтест «Синонимы» батареи ARFA-RUS оказался слабо подходящим для группы взрослых с опытом институционализации: в этой группе вычисленная латентная переменная объясняла значительно меньшую долю дисперсии по сравнению с группой взрослых, воспитанных в биологических семьях. На уровне отдельных заданий два вопроса продемонстрировали парадоксальные закономерности: вероятность правильного ответа уменьшалась при увеличении способности. Кроме того, одно задание было исключено из окончательной версии субтеста «Синонимы» из-за его плохого соответствия модели и низкой дискриминативной способности.