La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?

Abstract

L’objectif de cet article est de montrer l’interaction entre les aspects méthodologiques et la manière dont est conceptualisée et définie la littéracie dans l’enquête PISA. Pour introduire le thème on évoque d’abord les changements conceptuels dont a été l’objet l’évaluation des acquis des élèves dans les enquêtes internationales depuis les premières enquêtes de l’IEA jusqu’à l’enquête PISA. Après avoir rappelé que toute mesure est un construit, on expose les théories psychométriques qui fondent les modèles de mesure utilisés pour l’évaluation des acquis des élèves. La présentation des approches classiques permet d’introduire les concepts de difficulté et de discrimination des items ainsi que le concept de consistance globale d’une épreuve. On insiste sur les conditions de validité des modèles psychométriques qui posent des contraintes fortes sur la façon dont la variable mesurée est construite. On présente ensuite le modèle de mesure utilisé dans PISA qui appartient à la famille des modèles de réponse à l’item (MRI). PISA a privilégié le modèle dit de Rasch, on discute des conséquences de ce choix. On aborde ensuite un point très technique peu souvent abordé : celui de l’algorithme utilisé pour l’estimation des paramètres. La procédure utilisée aboutit à estimer non pas une valeur par sujet mais à construire la distribution des compétences de chaque sujet, on insiste sur les conséquences de cette approche sur la manière de conduire l’analyse des résultats. Ensuite, on discute du caractère réellement unidimensionnel de la variable du point de vue des contenus et du point de vue méthodologique. On s’interroge sur la contradiction apparente qu’il peut y avoir à considérer simultanément des sous-échelles et une échelle globale. En conclusion, on revient sur la manière d’interpréter la littéracie telle qu’elle est mesurée dans PISA en la mettant en relation avec d’autres enquêtes visant à évaluer le même type de compétence.