A utilização do modelo multifacetas de Rasch na análise das influências dos avaliadores sobre as avaliações com itens abertos

Abstract

Resumo Este trabalho analisa a qualidade da pontuação em avaliações com itens abertos por meio do modelo multifacetas de Rasch (MFR). São utilizadas as pontuações atribuídas às redações de participantes do Processo Seletivo Vestibular da Universidade Estadual de Londrina, de 2015. O modelo MFR pode proporcionar estudos, tanto no nível de grupo quanto no nível individual, possibilitando a identificação de avaliadores portadores de comportamentos tendenciosos, conhecidos por causarem erros importantes nas pontuações de tarefas escritas. As análises no nível de grupo mostraram que a avaliação foi eficiente e que os dados, de modo geral, são adequados às expectativas de medição dos modelos de Rasch e, por meio das análises no nível individual, foi possível detectar avaliadores que pontuaram diferentemente do modo como os outros avaliadores, em média, atribuíram suas pontuações. O modelo MFR mostrou-se uma ferramenta adequada e eficiente para o monitoramento da qualidade das pontuações atribuídas às tarefas de escrita.Resumen Este estudio analiza la calidad de las puntuaciones en los exámenes con ítems abiertos a través del modelo multifacético de Rasch (MFR). Para ello se utilizan las puntuaciones atribuidas a las redacciones de participantes de la prueba de acceso de 2015 de la Universidad Estatal de Londrina. El modelo MFR puede proporcionar estudios, tanto a nivel de grupo como en el plano individual, permitiendo la identificación de evaluadores portadores de comportamientos tendenciosos, conocidos por causar errores significativos en las puntuaciones de trabajos escritos. Los análisis a nivel de grupo mostraron que la evaluación fue eficiente y que los datos, en general, cumplen con las expectativas de medición de los modelos de Rasch, y por medio de los análisis a nivel individual fue posible encontrar calificadores que obtuvieron una puntuación diferente a las puntuaciones medias de otros colaboradores. El modelo MFR demostró ser una herramienta adecuada y eficaz para el control de la calidad de las puntuaciones asignadas a las tareas de escritura.Abstract This paper analyzes the quality of scores in open questions exams through Many-Facet Rasch (MFR) model. Scores assigned to essays compiled by the participants in the college entrance examination for Londrina University, in 2015, were used. The MFR Model can provide both group and individual level studies, enabling the determination of raters with biased behavior, which are known to cause significant errors in the written assignment scores. Analyzes at group level showed that the evaluation was efficient and the data, in general, are suitable for Rasch models measurement and through the analyzes at individual level it was possible to find raters who scored differently from the average scores of others reviewers. The MFR model proved to be an appropriate and effective tool for monitoring the quality of scores assigned to writing tasks.