La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?

La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?

L’objectif de cet article est de montrer l’interaction entre les aspects méthodologiques et la manière dont est conceptualisée et définie la littéracie dans l’enquête PISA. Pour introduire le thème on évoque d’abord les changements conceptuels dont a été l’objet l’évaluation des acquis des élèves da...

Description complète

Enregistré dans:
Détails bibliographiques
Dans:URI:https://journals.openedition.org/rfp,
Auteur principal: Vrignaud, Pierre
Format: Article ou chapitre numérique
Langue:Français
Publié: Revue française de pédagogie 2010
Sujets:
littéracie
psychométrie
MRI
comparaison internationale
Accès en ligne:Accès Université d'Orléans et IFPM
Accès Université d'Orléans et IFPM
id openedition-oai:revues.org:rfp_409
record_format openedition
collection OpenEdition Journal
language Français
format Article ou chapitre numérique
building 0/Bibliothèque numérique/
1/Bibliothèque numérique/OpenEdition Journals/
topic littéracie
psychométrie
MRI
comparaison internationale
spellingShingle littéracie
psychométrie
MRI
comparaison internationale
Vrignaud, Pierre
La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?
description L’objectif de cet article est de montrer l’interaction entre les aspects méthodologiques et la manière dont est conceptualisée et définie la littéracie dans l’enquête PISA. Pour introduire le thème on évoque d’abord les changements conceptuels dont a été l’objet l’évaluation des acquis des élèves dans les enquêtes internationales depuis les premières enquêtes de l’IEA jusqu’à l’enquête PISA. Après avoir rappelé que toute mesure est un construit, on expose les théories psychométriques qui fondent les modèles de mesure utilisés pour l’évaluation des acquis des élèves. La présentation des approches classiques permet d’introduire les concepts de difficulté et de discrimination des items ainsi que le concept de consistance globale d’une épreuve. On insiste sur les conditions de validité des modèles psychométriques qui posent des contraintes fortes sur la façon dont la variable mesurée est construite. On présente ensuite le modèle de mesure utilisé dans PISA qui appartient à la famille des modèles de réponse à l’item (MRI). PISA a privilégié le modèle dit de Rasch, on discute des conséquences de ce choix. On aborde ensuite un point très technique peu souvent abordé : celui de l’algorithme utilisé pour l’estimation des paramètres. La procédure utilisée aboutit à estimer non pas une valeur par sujet mais à construire la distribution des compétences de chaque sujet, on insiste sur les conséquences de cette approche sur la manière de conduire l’analyse des résultats. Ensuite, on discute du caractère réellement unidimensionnel de la variable du point de vue des contenus et du point de vue méthodologique. On s’interroge sur la contradiction apparente qu’il peut y avoir à considérer simultanément des sous-échelles et une échelle globale. En conclusion, on revient sur la manière d’interpréter la littéracie telle qu’elle est mesurée dans PISA en la mettant en relation avec d’autres enquêtes visant à évaluer le même type de compétence.
author Vrignaud, Pierre
author_facet Vrignaud, Pierre
author_sort Vrignaud, Pierre
title La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?
title_short La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?
title_full La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?
title_fullStr La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?
title_full_unstemmed La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ?
title_sort la mesure de la littéracie dans pisa : la méthodologie est la réponse, mais quelle était la question ?
publisher Revue française de pédagogie
publishDate 2010
container_title URI:https://journals.openedition.org/rfp
url https://ezproxy.univ-orleans.fr/login?url=https://doi.org/10.4000/rfp.409
https://ezproxy.univ-orleans.fr/login?url=https://journals.openedition.org/rfp/409
_version_ 1877244170145366016
spelling openedition-oai:revues.org:rfp_409 https://doi.org/10.4000/rfp.409 urn:doi:10.4000/rfp.409 fr https://journals.openedition.org/rfp/409 2010-12-01T01:00:00Z info:eu-repo/semantics/openAccess article info:eu-repo/semantics/article urn:handle:20.500.13089/k1mr https://creativecommons.org/licenses/by-nc-nd/4.0/ La mesure de la littéracie dans PISA : la méthodologie est la réponse, mais quelle était la question ? Revue française de pédagogie ENS Éditions info:eu-repo/semantics/reference/issn/2105-2913 info:eu-repo/semantics/reference/issn/0556-7807 URI:https://journals.openedition.org/rfp Vrignaud, Pierre littéracie psychométrie MRI comparaison internationale L’objectif de cet article est de montrer l’interaction entre les aspects méthodologiques et la manière dont est conceptualisée et définie la littéracie dans l’enquête PISA. Pour introduire le thème on évoque d’abord les changements conceptuels dont a été l’objet l’évaluation des acquis des élèves dans les enquêtes internationales depuis les premières enquêtes de l’IEA jusqu’à l’enquête PISA. Après avoir rappelé que toute mesure est un construit, on expose les théories psychométriques qui fondent les modèles de mesure utilisés pour l’évaluation des acquis des élèves. La présentation des approches classiques permet d’introduire les concepts de difficulté et de discrimination des items ainsi que le concept de consistance globale d’une épreuve. On insiste sur les conditions de validité des modèles psychométriques qui posent des contraintes fortes sur la façon dont la variable mesurée est construite. On présente ensuite le modèle de mesure utilisé dans PISA qui appartient à la famille des modèles de réponse à l’item (MRI). PISA a privilégié le modèle dit de Rasch, on discute des conséquences de ce choix. On aborde ensuite un point très technique peu souvent abordé : celui de l’algorithme utilisé pour l’estimation des paramètres. La procédure utilisée aboutit à estimer non pas une valeur par sujet mais à construire la distribution des compétences de chaque sujet, on insiste sur les conséquences de cette approche sur la manière de conduire l’analyse des résultats. Ensuite, on discute du caractère réellement unidimensionnel de la variable du point de vue des contenus et du point de vue méthodologique. On s’interroge sur la contradiction apparente qu’il peut y avoir à considérer simultanément des sous-échelles et une échelle globale. En conclusion, on revient sur la manière d’interpréter la littéracie telle qu’elle est mesurée dans PISA en la mettant en relation avec d’autres enquêtes visant à évaluer le même type de compétence. The purpose of the article is to show how methodological aspects (measurement models and algorithmic estimates) and the way literacy is conceptualised and defined in the PISA survey are interacting. To introduce the matter, We first present the conceptual changes in assessing the knowledge acquired by students in the international surveys from the first IEA surveys to the PISA survey. Bearing in mind that any measurement is a construct, we then explore the psychometric theories founding the measuring models used for assessing the knowledge acquired by students. By presenting classical approaches, we can then introduce the concepts of difficulty and item discrimination as well as the concept of global consistency in item tests. We will insist on the conditions for validating psychometric models (unidimensionality and conditional independence of items) that create strong constraints on the way the measured variables are set up. Next we present the PISA measurement model. It belongs to the item response model group (RMI). PISA singled out a model known as the Rasch model. We will see the consequences of this choice on the assessed skill and test format. Next we will tackle a technical issue, not often tackled : algorithm estimate. The RMI settings (item difficulty, subject-matter competencies) are not calculated but estimated. Numerous studies have been done on estimation algorithms. We here re-state that estimation algorithms come partly from thinking on missing values. It leads us to mention the typology of missing values in PISA. We underline the fact that procedures lead not to estimate one value per subject but to construct the distribution of competencies in each subject. We insist on the consequences of such an approach in the interpretation of the results and the way secondary analyses are conducted. Finally, we discuss the truly unidimentional aspect of variables in terms of contents and methodology. We ask ourselves whether there could be an apparent contradiction when considering simultaneously underscales and full scales. Then we wonder on the plurality of acceptable interpretations of literacy – as it is measured in PISA – when related to other surveys aiming at assessing the same type of competencies. El objetivo de este artículo es mostrar la interacción entre los aspectos metodológicos (el modelo de medida y los algoritmos de valoración) y la manera en que se conceptualiza y se define la literacia en la encuesta PISA. Para introducir el tema, se evocan primero los cambios conceptuales cuya valoración de las experiencias de los alumnos ha sido tratada en las encuestas internacionales desde las primeras encuestas del IEA hasta la encuesta PISA. Después de recordar que cualquier medida es una construcción, se exponen las teorías psicométricas que fundan los modelos de medida utilizados para la valoración de las experiencias de los alumnos. La presentación de los enfoques clásicos permite introducir los conceptos de dificultad y de discriminación de los elementos, así como el concepto de consistencia global de une prueba. Se insiste en las condiciones de validez de los modelos psicométricos (unidimensionalidad e independencia condicional de los elementos) que imponen coacciones fuertes sobre la manera en que se construye la variable medida. Se presenta después el modelo de medida utilizado en PISA que pertenece a la familia de los modelos de respuesta al elemento (MRI). PISA ha privilegiado el modelo llamado de Rasch, se discute acerca de las consecuencias de esta elección sobre la competencia medida y el formato de la prueba. Se trata después un punto muy técnico muy poco tocado : el del algoritmo de valoración. Los parámetros de los MRI (dificultad de los elementos, competencias de los sujetos) no son calculados sino apreciados. Los algoritmos de valoración han dado lugar a numerosos trabajos. Se recuerda que el algoritmo de valoración procede en parte de una reflexión sobre los valores que faltan. Esto induce a evocar la tipología de los valores que faltan en PISA. Se subraya que el procedimiento induce a valorar no un valor por sujeto sino a construir la distribución de las competencias de cada sujeto, se insiste sobre las consecuencias de este enfoque sobre la interpretación de los resultados y sobre la manera de realizar análisis secundarios. Por fin, se discute el carácter realmente unidimensional de la variable desde el punto de vista de los contenidos y desde el punto de vista metodológico. Nos interrogamos sobre la contradicción aparente que puede haber en considerar simultáneamente subescalas y una escala global. Después, nos interrogamos sobre la pluralidad de las interpretaciones que puede soportar la literacia tal y como se mide en PISA cuando se pone en relación con otras encuestas que tienden a evaluar el mismo tipo de competencia. Das Ziel dieses Artikels ist, die Wechselwirkungen zwischen methodologischen Aspekten (das Meßverfahren und die Schätzungsalgorithmen) und der Art und Weise zu zeigen, wie literacy bei der PISA Studie konzipiert und definiert wird. Um das Thema einzuführen, erwähnen wir zuerst die konzeptuellen Veränderungen, die bei der Evaluierung der Schüler in den internationalen Studien seit den ersten IEA-Untersuchungen bis hin zur PISA-Studie stattgefunden haben. Nachdem wir daran erinnert haben, dass jede Messung ein Konstrukt ist, stellen wir die psychometrischen Theorien vor, auf denen die Meßverfahren beruhen, die zur Evaluierung der Schüler benutzt werden. Die Vorstellung der klassischen Herangehensweisen ermöglicht es, die Begriffe der Schwierigkeit und der Diskriminierung der Items einzuführen, so wie den Begriff der globalen Konsistenz einer Aufgabe. Wir unterstreichen die Geltungsbedingungen der psychometrischen Modelle (Eindimensionalität und bedingte Unabhängigkeit der Items), die starken Druck über die Art und Weise ausüben, wie die gemessene Variable gebildet ist. Dann stellen wir das Meßverfahren vor, das bei PISA benutzt wird und das der Gattung der Modelle der Antwort auf das Item (MRI) angehört. PISA hat das sogenannte Rasch-Modell bevorzugt : Wir erörtern die Konsequenzen dieser Wahl über die gemessene Kompetenz und über das Format der Prüfung. Dann besprechen wir einen höchst technischen Punkt, der selten angegangen wird : das Schätzungsalgorithmus. Die Parameter der MRI (Schwierigkeit der Items, Kompetenzen der Subjekte) werden nicht ausgerechnet sondern eingeschätzt. Die Schätzungsalgorithmen sind das Thema zahlreicher Arbeiten. Wir erinnern daran, dass der Schätzungsalgorithmus sich zum Teil aus einer Überlegung über die fehlenden Werten ergibt. Dies führt dazu, die Typologie der fehlenden Werte bei PISA zu erwähnen. Wir betonen, dass die Prozedur darauf hinausläuft, nicht etwa einen Wert für jeden Subjekt, sondern die Verteilung der Kompetenzen jedes Subjekts zu schätzen. Wir betonen die Konsequenzen dieser Herangehensweise über die Interpretation der Ergebnisse und über die Art und Weise, wie man Sekundäranalysen durchführt. Zum Schluss befragen wir das eindimensionale Charakter der Variable, was die Inhalte und die Methodologie angeht. Wir stellen uns Fragen über den anscheinenden Widerspruch in der gleichzeitigen Betrachtung der Unterskalen und einer globalen Skala. Dann stellen wir uns Fragen über die Vielfalt der Interpretationen, die die literacy ertragen kann, wenn sie wie bei PISA geschätzt wird und wenn man sie mit anderen Studien vergleicht, die die gleichen Kompetenzen evaluieren.

Documents similaires