Méthodologie

Le principe de base de la méthodologie du PASEC repose sur la comparaison. Il consiste à tirer parti de la variété des situations scolaires pour identifier les facteurs de performance du système éducatif à travers la mesure de la progression des élèves sur l’année.

Les éléments présentés ci-dessous concernent principalement les évaluations dites diagnostiques. Certains aménagements ont été apportés à la méthodologie standard pour les suivis de cohorte et les évaluations thématiques, notamment au niveau de l’échantillonnage. Tous les rapports du PASEC contiennent une rubrique méthodologique permettant d’entrer dans le détail des différents types d’évaluation et des spécificités nationales. Un guide méthodologique détaillé est en cours de rédaction et sera disponible à terme sur le site.

Les objectifs de la méthodologie

L’objectif est de mettre en relation les niveaux moyens d’acquisition des élèves en français, en mathématiques et parfois en langue nationale avec les conditions matérielles et organisationnelles dans lesquelles ils sont scolarisés. Pour cela, on ne saurait cependant se limiter aux scores moyens des élèves à la fin de l’année scolaire puisque tout le passé des élèves interviendrait dans cette mesure et on ne saurait pas réellement ce qui est imputable à l’année évaluée par rapport aux années antérieures. Cela implique d’avoir une mesure du niveau des acquis des élèves en début et en fin d’année scolaire, ce qui constitue une spécificité forte de la méthodologie du PASEC. On parle de modèles à valeur ajoutée.

De nombreux paramètres interviennent, au cours de l’année dans le processus d’acquisition des élèves. Il faut donc avoir recours à des techniques capables de prendre en compte simultanément les principaux facteurs qui interviennent dans le processus d’apprentissage et d’en dégager l’effet propre, indépendamment de l’effet des autres facteurs. Ces principes méthodologiques sont au cœur de la méthodologie du PASEC. En effet, le PASEC observe le niveau d’acquisition des élèves de deuxième et de cinquième année de l’enseignement fondamental dans des situations de scolarisation aussi diversifiée que possible et appréhendées par un échantillon.

Le cadre de référence

Les acquis des élèves sont mesurés en français (et/ou langue nationale si celle-ci est langue d’enseignement) et en mathématiques (acquis fondamentaux du primaire) à deux reprises : au début (pré-test)) et à la fin de l’année scolaire (post-test). Le protocole d’enquête prévoit le recueil simultané d’un certain nombre de données contextuelles, d’ordre institutionnel, social, économique et culturel. Dans l’explication des performances scolaires des élèves, ces données permettent de séparer les effets dus au milieu de ceux dus au contexte pédagogique. Le schéma d’analyse ci-après, élaboré pour une année scolaire, permet de mettre en évidence cette méthodologie d’analyse.

Schéma d’analyse du PASEC

Les instruments

Les évaluations menées par le PASEC n’ont pas pour objectif prioritaire de mesurer le niveau des acquisitions des élèves dans différentes disciplines. Cependant, pour analyser les déterminants des acquisitions des élèves, il est nécessaire de s’appuyer sur des tests dans les disciplines de base. Ces tests ont été conçus spécifiquement pour répondre aux exigences de la méthodologie d’analyse du programme. Ils ont bien sûr été élaborés en référence aux programmes scolaires des pays d’Afrique francophone et, dans la mesure du possible, sur les aspects communs de ces différents programmes.

Toutefois, ces tests ne cherchent pas à mesurer le degré de maîtrise de tel ou tel point du programme. La construction des items qui les composent répond avant tout à la nécessité d’avoir des différences dans les résultats des élèves car il est indispensable pour les analyses que l’on souhaite mener qu’il existe une variabilité dans les scores des élèves. Une homogénéité des résultats, qu’ils soient bons ou faibles, limiterait les analyses permettant d’identifier les déterminants des apprentissages.

Par conséquent, les tests utilisés ne sauraient être considérés comme une échelle de mesure des acquisitions des élèves aussi précise qu’on le souhaiterait dans le cas d’une évaluation stricto sensu des acquis des élèves. Le PASEC utilise en outre depuis quelques années les mêmes tests de français et de mathématiques dans les différents pays où il travaille ce qui offre une base comparative particulièrement intéressante, même si l’objectif principal de la méthodologie n’est pas d’établir des comparaisons internationales.

Pour recueillir des informations sur les conditions de scolarisation et le contexte social, économique et culturel, des questionnaires sont administrés aux élèves, aux enseignants et aux directeurs d’école. Pour satisfaire aux enjeux méthodologiques énoncés, un échantillon qui tient compte de la diversité des situations scolaires est construit en conséquence.

L’échantillonnage

L’échantillonnage a pour objectifs à la fois d’observer le maximum de situations scolaires et extrascolaires mais aussi de tirer des conclusions valables pour toute une population à partir d’un nombre restreint d’individus, notamment sur le niveau moyen d’acquisitions des élèves. Dans le cas du PASEC, l’exercice se complexifie pour au moins trois raisons :

(i) pour répondre à certaines questions, il peut être nécessaire de s’écarter des principes élémentaires de construction d’un échantillon, en surreprésentant certaines écoles qui possèdent des caractéristiques pertinentes en terme de politique éducative et dont on veut mesurer les effets sur les acquisitions.

(ii) le fait d’administrer des tests en début d’année pose des problèmes de disponibilité d’informations fiables qui peut avoir des conséquences sur l’échantillon final, puisque la base de données qui permet d’établir l’échantillon ne correspond pas à l’année en cours et accuse souvent du retard (1 ou 2 ans). Certaines écoles de l’échantillon ne possèdent plus les niveaux 2 et 5 au moment de l’enquête et il faut les remplacer. De plus, les poids utilisés pour réaliser les pondérations (le nombre d’élèves de 2ème et 5ème année) sont ceux de la base de données ayant servi à tirer l’échantillon et ne correspondent pas toujours à la situation au moment de l’enquête.

(iii) la prise en compte de deux niveaux (2ème et 5ème années) dans l’évaluation est une source de complexité supplémentaire. Le tirage de l’école s’effectue grâce à son poids en termes de nombre d’élèves de 2ème et 5ème année alors qu’idéalement on devrait faire deux tirages séparés pour chaque niveau et donc procéder à l’évaluation sur deux échantillons.

La procédure d’échantillonnage retenue est un sondage stratifié à deux degrés ou sondage stratifié en grappes. Ce plan d’échantillonnage, permet de regrouper dans l’échantillon toute une variété de situations scolaires. Il permet de réaliser des analyses à la fois au niveau école, maître et élèves et de mettre en évidence des effets propres à l’élève et son environnement extra scolaire. Le principe du sondage en grappe est de retenir dans un premier temps un ensemble d’écoles proportionnellement à leurs poids en nombre d’élèves de 2ème année et de 5ème année. Entre 100 et 180 écoles sont ainsi enquêtées par pays. Lorsqu’une école est choisie, s’il y a plusieurs classes de 2ème ou de 5ème année, une de ces classes est tirée au sort pour chaque niveau. On procède ensuite au tirage d’un nombre fixe d’élèves dans chacune des classes (15 ou 20).

Analyses des données

La phase d’analyse des données est celle où l’on cherche à répondre aux questions qui ont motivé la conduite d’une évaluation. C’est le point d’aboutissement que chacune des précédentes phases a préparé. L’objectif de base des analyses du PASEC est de rechercher de « modèles d’école efficaces et peu coûteux ». Il s’agit ainsi d’identifier l’effet net des variables scolaires et extrascolaires, toutes choses égales par ailleurs, puis de mettre en relation les coûts avec les effets attendus des mesures potentielles de politique éducative que le sens des variables semble induire.

Le protocole d’enquête, qui prévoit un test en début d’année et un test en fin d’année, permet un raisonnement en valeur ajoutée, en se restreignant à une année scolaire donnée. La démarche de modélisation économétrique est une stratégie descendante par bloc de variables. On introduit en premier le score final, comme variable réponse ou à expliquer, puis le score initial et toutes les variables élèves comme variables explicatives. On élimine ensuite toutes les variables élèves n’ayant pas d’effet significatif stable ou présentant des colinéarités importantes afin de constituer un modèle des scores et des caractéristiques individuelles. La même démarche est appliquée ensuite au bloc des variables de niveau maître et classes, puis au bloc de niveau école et directeur.

Les modèles finaux des différentes étapes sont rassemblés dans un modèle global et la stratégie descendante est reprise. A ce stade, les colinéarités sont nombreuses et doivent donc être traitées avec soin. Les variables présentant un intérêt pour la politique éducative sont priorisées ainsi que certaines variables de contrôle fondamentales. Il s’agit alors de stabiliser le modèle en adoptant une stratégie ascendante (réintroduction des variables), tout en se fixant comme critère la maximisation de la part de variance explique (R²) et des limites dans le nombre de variables du modèle final (une vingtaine). On aboutit à un modèle de régression basé sur le schéma d’analyse causal présenté plus haut, qui se présente sous la forme :

yi = f (x1, x2,…, xk) + ?i = ?0 + ?1 x1 + ?2 x2 + … + ?k xk + ?i Avec yi la variable expliquée ou dépendante, x1, x2, …, xn les variables explicatives,  ?0 , ?1 , ?2, …, ?k les paramètres à estimer  ?i l’écart aléatoire.

Dans le cadre des sciences sociales et en particulier dans les analyses PASEC, on retiendra le seuil de 10% pour considérer qu’une variable est significative. Les scores utilisés dans l’analyse sont centrés et réduits (à titre comparatif). Ils représentent ainsi la variation de chaque élève en termes de résultats par rapport à la moyenne centrée réduite observée dans l’échantillon. Aussi, l’effet que nous mesurons représente la variation du score d’un élève i (par rapport au score moyen centré et réduit de l’ensemble des élèves, soit le pourcentage d’écart type) induite par la variation marginale de la variable étudiée.

Les modèles sont estimés sur la base des techniques classiques des moindres carrés ordinaires (MCO) mais tiennent compte du caractère hiérarchique des données, sans pour autant aller jusqu’à mobiliser des techniques multi niveaux

Un guide méthodologique détaillé est en cours de rédaction.

Lien Permanent pour cet article : http://www.confemen.org/le-pasec/methodologie/