Disentangling Setting and Mode Effects for Online Competence Assessment

Abstract

Muchas evaluaciones de competencia a gran escala como el National Educational Panel Study (NEPS) han introducido nuevos diseños de prueba para mejorar las tasas de respuesta y la precisión de la medición. En particular, las evaluaciones en línea no estandarizadas (UOA) ofrecen un enfoque económico para llegar a poblaciones heterogéneas que de otro modo no participarían en evaluaciones cara a cara. Reconociendo la diferencia entre entrega, modo y entorno de prueba, este capítulo amplía los antecedentes teóricos para tratar los efectos de modo en las evaluaciones de competencia NEPS (Kroehne y Martens en Zeitschrift für Erziehungswissenschaft 14: 169-186, 2011 2011) y analiza dos facetas específicas de la UOA: (a) la confusión de los efectos de selección y configuración y (b) el papel del comportamiento de toma de pruebas como variable mediadora. Presentamos una estrategia que permite la integración de los resultados de UOA en los resultados de evaluaciones computarizadas supervisadas y generaliza la idea del filtrado motivacional, conocido por el tratamiento del comportamiento rápido de adivinanzas en la evaluación de bajo riesgo. Enfatizamos particularmente la relación entre paradata y la investigación del comportamiento de toma de pruebas, e ilustramos cómo una muestra de referencia formada por evaluaciones de competencia bajo condiciones estandarizadas y supervisadas puede usarse para aumentar la comparabilidad de UOA en diseños de modo mixto. La discusión final reflexiona sobre el equilibrio entre la calidad de los datos y los beneficios de UOA.