• Démarche méthodologique de l’OET

Pourquoi un « Observatoire » ?

La question des « élèves ruraux » est posée en France depuis le début du XX° siècle, mais elle a pris dans les années 60  une forme nouvelle avec la massification de l’enseignement et l’allongement des scolarités. Les études disponibles à la fin des années 90 soulignaient plusieurs caractéristiques des élèves des écoles rurales : bonnes performances scolaires, niveaux d’acquisition des connaissances et de réussite comparables ou supérieurs à ceux des milieux urbains dans le premier degré, mais difficultés d’adaptation au collège et au lycée, modestie des projets professionnels et des demandes de formation, faible appétence pour la mobilité géographique… Dans le même temps, les écoles rurales voyaient la mise en place, sous des formes diverses, de “ stratégies d’ouverture ”, généralement soutenues par l’institution scolaire, et censées influer positivement sur la réussite scolaire et les choix d’orientation. Ces pratiques, toujours en partie d’actualité,  reposent sur un ensemble de postulats selon lesquels ces stratégies seraient susceptibles d’intervenir,  dans le sens d’une meilleure réussite scolaire à long terme (et notamment dans le second degré), sur les conséquences supposées négatives de l’environnement social et culturel de l’école rurale.

Face aux incertitudes des résultats scientifiques en la matière, et face aux usages délibérément idéologiques de certains éléments du débat, il a paru nécessaire de s’interroger sur les affirmations concernant la “ spécificité ” de l’école rurale (spécificité du contexte, des apprenants, des enseignants, des contenus de savoir, des conditions d’étude…), et les caractéristiques des trajectoires scolaires des élèves ruraux. Avec la constitution de l’ Observatoire de l’école rurale en 1997, l’équipe de recherche s’est donc donné pour but de mettre en évidence les paramètres encore peu ou mal connus influant sur l’évolution des comportements scolaires du CM2 à la classe de seconde.

Le travail de l’OER a été facilité par l’existence d’un réseau d’enseignants en poste dans le milieu rural, associés à la recherche par la mise sur pied de mini-colloques, la tenue régulière de réunions de travail et le montage d’actions de formations spécifiques. Plusieurs d’entre eux ont concrétisé leur engagement par des masters et des thèses. Ce réseau a permis d’obtenir – outre des informations complémentaires sur les contextes locaux – un très bon taux de retour des questionnaires, et l’équipe de recherche lui doit beaucoup.

Les enquêtes de l’OER

La constitution de la base de données a été assurée par le Centre MTI@SHS, qui a fourni les logiciels d’analyse[1] et assure l’aide méthodologique. Les résultats obtenus sont confrontés aux données statistiques globales obtenues auprès des institutions (panels de la DEP, statistiques académiques…). Ces éléments sont complétés au fur et à mesure de l’avancement de la recherche par des études de cas sur le terrain (essentiellement à base d’entretiens). De plus, une étude complémentaire a été menée en 2003-2004, à partir des mêmes questionnaires, sur deux échantillons d’élèves de troisième issus de milieux urbains (Marseille, Vesoul).

L’échantillon n’a pas été constitué en fonction de critères de représentativité. Les départements ont été retenus d’une part pour la diversité des milieux ruraux (et montagnards) qu’ils représentaient, et d’autre part à partir de l’existence d’équipes locales de recherche, qui pouvaient assurer le suivi sur plusieurs années.  C’est ainsi qu’ont été sélectionnés l’Ain, les Alpes de Haute Provence, l’Ardèche, la Drôme, la Haute Loire et la Haute Saône[2].

Ensuite, nous avons construit l’échantillon par la sélection de classes de CM2 ruraux, de telle sorte que soient représentés à part à peu près égale les trois types de milieux ruraux définis dans la typologie INSEE de 1998 : rural sous faible influence urbaine, pôles ruraux et leurs périphéries, et rural isolé. Le rural sous forte influence urbaine n’a pas été retenu, ses caractéristiques se rapprochant trop de celles de l’espace urbain. Le type de milieu auquel appartient l’élève est défini par la localisation de sa classe de CM2 en 1999.

La détermination de l’effectif correspond à une autre préoccupation. L’objectif était de suivre les élèves jusqu’à la sortie du collège,  avec la possibilité de continuer l’enquête au lycée, au moins jusqu’à la fin de l’année de seconde, ce qui doit permettre d’une part de « récupérer » les élèves en retard d’un an, et d’autre part de connaître l’orientation en fin de seconde des élèves à l’heure. Pour conserver une taille suffisante aux trois sous échantillons correspondant aux trois types de milieux, il était souhaitable de ne pas descendre en dessous de l’effectif de 900 élèves en fin d’enquête. L’effectif théorique retenu pour l’échantillon de départ (2700 élèves) l’a été en fonction de l’estimation de la déperdition des élèves au fil des années.

Au total, les élèves ont été interrogés quatre fois : en 1999 (CM2), en 2002, 2004 et 2005. A cette date, les élèves « à l’heure » étaient parvenus en classe de Seconde. Toutes les passations ont été faites en classe.

Une enquête complémentaire (sans questionnaires) a été effectuée en 2007 pour situer les élèves dans leur parcours scolaire.

La méthodologie de l’Observatoire

La méthode choisie est celle du “ suivi de panel ” : il s’agit de suivre sur six départements représentant cinq académies pendant six ans (de 1999 à 2005) des cohortes réelles d’élèves appartenant aux divers types de milieux ruraux répertoriés par l’INSEE. Les familles et les équipes pédagogiques sont elles aussi interrogées. La structure de base du questionnaire est conservée, avec seulement des mises à jour pour tenir compte du cursus scolaire ou pour compléter des informations. L’accent est mis sur l’évolution des performances des élèves, le devenir scolaire aux paliers d’orientation, l’évolution des projets professionnels et des stratégies corrélatives de formation, ainsi que leur éventuelle conformité aux choix familiaux.

L’observation a en outre pour objet d’évaluer l’impact, en terme de réussite scolaire, de trois stratégies d’ouverture développées par certains établissements ruraux pour rompre leur isolement : fonctionnement pédagogique en réseaux, partenariats inscrits dans le long terme avec des organismes extérieurs, utilisation régulière des TICE en classe.

Le but principal de l’OER était donc de constituer une base de données qui se complèterait progressivement, au fil des enquêtes successives. Dans le même temps, les chercheurs ont collecté des données existantes (panels de la DEP,  résultats aux tests d’évaluation nationaux, enquêtes ponctuelles). Ces données ont été pour un part incluses dans les bases (résultats aux tests).

L’accès aux bases de données a été ouvert à tous les chercheurs qui le souhaitaient, et les questionnaires ont été utilisés (intégralement ou en partie) dans d’autres enquêtes nationales et étrangères.

Chaque chercheur de l’équipe a déterminé librement son orientation de recherche, la seule obligation étant de mettre à la disposition de l’OER les principaux résultats. De ce point de vue, la publication des six tomes « L’enseignement scolaire en milieu rural et montagnard » (Presses Universitaires Franc-Comtoises) témoigne largement de l’étendue des coopérations et de l’importance des résultats.

L’exploitation de la base de données a été faite principalement par manipulations statistiques (tris à plat, croisés, corrélations, AFC, etc.), soit sur des données numériques, soit sur des listes de mots (métiers par exemple).

L’évolution des recherches

L’évolution et l’élargissement des problématiques ont conduit l’OER à changer de nom : il est devenu en 2007 « OET » (Observatoire Education et Territoires), et les recherches se poursuivent.

En 2011-2012, Une nouvelle enquête a été réalisée dans trois départements (Alpes de Haute Provence, Ardèche, Drôme) auprès d’élèves ruraux de CM2 (1200 élèves) et de Troisième (980). Elle a repris en partie les questionnaires précédents, et les parents d’élèves sont aussi été interrogés.

Les résultats ont été entièrement saisis et sont en cours d’analyse. A cette occasion, l’OET a changé d’outil, et les nouvelles bases de données sont sous Modalisa.

Par ailleurs, d’autres équipes se sont inspirées de la méthodologie OET pour des analyses comparatives internationales (pays latino-américains, Italie, Espagne, Portugal…) et à travers la création d’Observatoires en milieu urbain (OQS Marseille).

YA

[1]     Système « Catalyse », logiciels Pragma (base de données), Anaconda et Nuage (AFC).

[2]     Deux autres départements (le Cantal et le Vaucluse) devaient être inclus dans l’étude, mais les équipes locales n’ont pu se constituer à temps.

 

• Approche méthodologique du projet international I+D+I piloté par l’Université de Barcelone dont l’OET est partenaire

Questions de méthodologie – Le cas du futur projet n° 2 I+D+I 2014-2016 – Premières approches

1/ Rappel des objectifs généraux du nouveau projet 2014-2016 (prolongation, approfondissement et complément du projet initial I+D+I EDUC 13460 2009-2012)

Le premier projet I+D+I EDUC 13460 2009-2012 s’était donné pour objectif – via questionnaires, entretiens et observations ethnographiques – de repérer, au niveau des enseignements dispensés dans les écoles rurales et montagnardes, d’éventuelles régularités efficaces dans les pratiques professionnelles des enseignants, pays par pays, puis de façon transversale entre les cinq pays participant au projet. Le second projet 2013-2015, qui sera déposé début 2013, aura des objectifs similaires – via des outils et techniques comparables[1] – au niveau, cette fois, des caractéristiques des élèves, des caractéristiques des familles et des caractéristiques des différents contextes (socioculturels, institutionnels et territoriaux). Il visera lui aussi le repérage d’éventuelles régularités positives dans ces nouveaux domaines d’investigation.

 

 2/ Détermination de l’échantillon global 

A des fins d’exploitation statistique, l’échantillon initial total devra – a minima – tourner autour de 1.000 élèves de dernière année d’école primaire répartis également entre les trois[2] pays fondateurs du projet (Espagne, France et Portugal). Soit, au minimum, 300 élèves par pays. Ce qui correspond en gros à 30 / 40 classes par pays. Aucune variable ne sera exploitée statistiquement (tests de significativité, tris simples et croisés, analyses factorielles des correspondances, etc.) si elle ne compte pas au moins 100 représentants. Bien entendu, toutes les classes choisies dans les différents pays devront clairement appartenir au milieu rural et montagnard. Il sera également important que toutes ces classes ne se rapportent pas au même type de milieu rural, mais au contraire qu’elles soient issues de plusieurs types de milieu rural (rural isolé, rural proche des villes et pôles ruraux autonomes, par exemple)[3], si possible en nombre égal. Si d’autres pays s’adjoignent au projet initié par les trois pays fondateurs, ils devront évidemment respecter l’ensemble du cadrage méthodologique. Enfin, il sera nécessaire de procéder aux contrôles statistiques requis pour vérifier si les différents échantillons des pays concernés sont bien ou non – et dans quelle mesure, pour quelles variables – représentatifs de leurs milieux ruraux et montagnards respectifs.

3/ Élaboration des questionnaires écrits fournisseurs des données quantitatives

Les questionnaires utilisés, qui seront construits collectivement à partir des questionnaires du premier projet, prendront en compte les résultats des recherches comparables de l’OET sur la question. Ils seront tous communs à tous les pays participant à la recherche. Ils seront préalablement testés – les nouveaux items essentiellement – afin de vérifier si les questions posées sont bien discriminantes. Ils seront alors, enfin, traduits dans les différentes langues des pays partenaires. Trois types de questionnaires seront élaborés : « élèves » et « parents » (deux donc par élève), d’une part, et « enseignants » (un par classe), d’autre part.

3.1 Les questionnaires « enseignants » auront pour principal objectif de recueillir les données correspondant aux résultats scolaires individuels de leurs élèves que les enseignants pensent aujourd’hui les voir atteindre (variables dépendantes). C’est-à-dire qu’ils renverront aux « perceptions » prédictives des enseignants sur les savoirs et compétences actuels et futurs (langue maternelle et mathématiques) de chacun de leurs élèves, sur leurs trajectoires scolaires projetées (niveaux d’aspiration et d’expectation en matière d’orientation) et sur leurs motivations actuelles.

3.2 Les questionnaires « élèves » recueilleront d’abord les données sur les « caractéristiques » (variables indépendantes) des élèves questionnés. Mais ils auront aussi pour objectif de recueillir les « perceptions » prédictives des élèves sur leurs propres savoirs et compétences actuels et futurs (langue maternelle et mathématiques), sur leurs trajectoires personnelles projetées (niveau d’aspiration et d’expectation en matière d’orientation) et sur leurs motivations individuelles actuelles.

3.3 Les questionnaires « parents » recueilleront, eux, des données sur les « caractéristiques » (variables indépendantes) des parents d’élèves. Mais ils s’attacheront, eux aussi, à recueillir les « perceptions » prédictives des parents sur les savoirs et compétences actuels et futurs de leurs enfants (langue maternelle et mathématiques), ainsi que sur les trajectoires scolaires qu’ils projettent pour leurs enfants (niveaux d’aspiration et d’expectation en matière d’orientation).

4/ Choix des terrains d’investigation qualitative au sein de l’échantillon global

Les entretiens semi-directifs (un ou deux élèves par classe) et les observations ethnographiques (une par type de milieu rural dans chaque pays), qui auront pour objectifs d’aborder les représentations et les stratégies d’apprentissage des élèves (et des enseignants), de préciser les résultats, motivations et projets actuels des élèves et, enfin, d’évaluer l’éventuelle part prise dans leur réussite (ou non) par la détention de « savoirs locaux », seront notamment déterminés des deux façons complémentaires suivantes :

4.1 A partir des valeurs « extrêmes » des réponses aux questionnaires « enseignants » (par exemple en-deçà de 10% et au-delà 90%) sur les résultats et projets actuels et futurs des élèves.

4.2 A partir de croisements statistiquement significatifs entre les « perceptions » des enseignants sur leurs élèves (codées) et un certain nombre de variables indépendantes pertinentes (à déterminer).

Il sera enfin absolument indispensable, afin de limiter les biais liés à la récolte des données (effectuées par des équipes différentes dans des pays différents), puis de faciliter les comparaisons ultérieures, d’une part de concevoir un « dispositif » commun de recueil de données et d’autre part de construire collectivement à la fois un « guide » d’entretien semi-directif et une « grille » d’observation ethnographique adaptés aux objectifs du projet scientifique qui seront ensuite traduits dans les différentes langues d’investigation de la recherche.

5/ Traitement et analyse des données recueillies

Les données quantitatives et qualitatives codées recueillies par les questionnaires seront traitées dans un premier temps par tris à plat afin d’obtenir un premier bilan, puis par tris croisés et multiples afin d’explorer les corrélations statistiques existant entre deux ou plusieurs variables. Pour mettre en évidence les éventuelles variations « concertées » des différentes variables traitées de toute nature, qualitatives codées comme quantitatives, dépendantes comme indépendantes, des analyses factorielles des correspondances exploratoires seront conduites sur tout et parties du corpus. En fonction des résultats  de cette « exploration », d’autres analyses statistiques seront éventuellement menées.

Pour cette recherche, qui aura notamment aussi pour ambition potentielle, d’effectuer des comparaisons dans le temps entre les deux projets, afin d’apprécier si les inégalités observées au départ stagnent, s’accroissent ou diminuent, il faudra nécessaire d’aborder un certain nombre de difficultés d’ordre méthodologique qui jalonnent potentiellement tout travail de comparaison. Il s’agira notamment de choisir les outils d’estimation de l’évolution nécessaires à la comparaison dans le temps des inégalités les plus pertinents, c’est-à-dire les mieux adaptés aux objets des recherches entreprises, à leurs objectifs et à leurs méthodologies. Car l’évolution des inégalités peut être appréciée et mesurée au moyen de plusieurs « instruments » qui ne débouchent pas automatiquement sur la même signification.

Il est ainsi possible de s’appuyer très simplement sur des différences de proportion entre deux saisies de données étalées dans le temps, ou bien sur des « rapports » entre ces deux mêmes types de fréquences relatives. Mais il est aussi possible de prendre en compte la décélération ou l’accélération – moins fréquente ! – du phénomène à mesure que le but s’approche en rapportant la progression observée au maximum de la progression possible, ou bien encore (et enfin ?) de se baser sur la comparaison des « rapports de chances relatives » ou odds ratios, c’est-à-dire sur l’évolution diachronique des rapports entre les taux de réussite et d’échec[4]…

Les deux premières méthodes ont contre elles de ne pas assez tenir compte du « contexte » qui rend plus ou moins difficiles la réduction des inégalités visée et, notamment, rend souvent les derniers progrès plus difficiles à obtenir. Les deux dernières, en revanche, le font, mais elles diffèrent par la « coloration » des résultats, plus ou moins positive, sur laquelle la méthode choisie débouche généralement… La première des deux paraît en effet moins « optimiste » que la dernière (odds ratios) qui s’est aujourd’hui généralisée… Pour notre part, nous pensons donc que les deux dernières méthodes, en raison de la prise en compte des rythmes des évolutions  constatées, s’imposeront. Mais, si nous estimons qu’il sera absolument nécessaire, dans un tel « entrelacs » d’outils potentiellement « contradictoires », de calculer prioritairement les deux « rapports » évoqués, nous croyons qu’il sera tout aussi nécessaire d’essayer de voir s’ils diffèrent significativement ou non et, si c’est le cas, d’essayer d’interpréter ce « décalage ».

Enfin, les données strictement qualitatives obtenues par les entretiens semi-directifs et les observations ethnographiques seront regroupées dans les grilles de recensement ad hoc élaborées, puis traitées soit par des analyses spécifiques de contenu, soit par des recherches de co-occurrences, par exemple.

PC – 19/10/2012

[1] Qui seront cette fois tous mis au point et standardisés collectivement avant le début de la collecte des données.

[2] Si un autre pays se joint au trois pays fondateurs – c’est le cas potentiel de l’Italie – il devra impérativement adopter la même démarche investigatrice.

[3] Cf. grille de caractérisation des territoires bâtie dans le cadre du premier projet 2009-2012.

[4] Cf., notamment, le récent article de Pierre Mercklé dans Le Monde du 9 juin 2012 intitulé « Les inégalités scolaires diminuent-elles ? ».