Components of answers to multiple-choice questions on a published reading comprehension test: An application of the Hanna-Oaster approach

Abstract

A persistent problem in reading comprehension tests is that factors other than comprehension of the material itself can influence answers to the questions. The Hanna-Oaster approach to assessing context dependence, based on both context independence and context dependence indices, was applied to data from a published reading comprehension test. The results are discussed both in terms of item statistics and passage-level statistics. The data indicated that for many items, the context independence index was much higher than is considered desirable in the Hanna-Oaster formulation. At the passage level, this index correlated negatively with estimates of passage difficulty derived from readability indices and from cloze scores. The context dependence index, on the other hand, correlated positively with both the cloze and readability indices. Some implications of the Hanna-Oaster approach for analysis of reading comprehension items, as well as its potential use for schema and context theorists, are suggested./// French Un problme persistant dans les tests de comprhension de lecture s'adresse des facteurs autres que la comprhension du sujet luimme qui influencent les rponses aux questions du test. L'approche Hanna et Oaster qui cherche tablir la dpendance de contexte, base sur un indice d'indpendance de contexte et un indice de dpendance de contexte, a t applique des donnes provenant d'un test de comprhension de lecture publi. On a analys les rsultats en termes de statistiques d'lments et de statistiques bases sur le niveau des passages. Les donnes indiquaient que pour plusieurs lments, l'indice d'indpendance de contexte tait beaucoup plus haut qu'il n'est considr dsirable dans la formulation Hanna et Oaster. Pour le niveau des passages, cet indice tait en corrlation ngative avec des valuations de difficult de passages drives d'indices de facilit de lecture et du nombre de points obtenus avec le procd "cloze" (1). D'autre part, l'indice de dpendance de contexte tait en corrlation positive avec les indices de facilit de lecture et du procd "cloze". On a discut quelques implications de l'approche Hanna et Oaster dans un but d'analyse d'lments de comprhension de lecture, et on a suggr quelques usages possibles de cette approche pour les thoriciens de contexte et de schma./// Spanish Un problema persistente en exmenes de comprensin de lectura, aparte de la comprensin del contenido mismo, son los otros factores que afectan las respuestas a las preguntas del test. El enfoque Hanna-Oaster para asesorar dependencia de contexto, basados en un ndice de independencia de contexto y uno de dependencia de contexto, fue aplicado a datos de un test de comprensin de lectura publicado. Se discuten los resultados, estadsticamente, en relacin a cada pregunta y pasaje-nivel. Los datos indicaron que para muchas preguntas, el ndice de independencia de contexto era mucho ms alto de lo que es considerado recomendable por la formulacin Hanna-Oaster. Al nivel de pasaje, este ndice tena correlacin negativa, con clculo aproximado de dificultad de pasaje derivado de ndices de facilidad de lectura y de resultados cloze. Por otro lado, el ndice de dependencia de contexto tena correlacin positiva con ambos ndices de cloze y de facilidad de lectura. Se discuten algunas de las implicaciones del unfoque Hanna-Oaster para analizar preguntas de comprensin de lectura, y se sugieren posibles usos de este enfoque para tericos de esquema y de contexto.

Cite this document ^(BETA)