PédagoTIC

Commençons par un extrait sonore de notre ministre et de M. Arcand...

Par où commencer? Mon opinion! En gros, Madame la Ministre, si vous pensez que d'avoir des chiffres plutôt que des lettres est une amélioration, c'est que vous ne maitrisez pas votre dossier...

Voici, selon moi, pourquoi on ne devrait pas retourner en arrière en matière d'évaluation. (Notez que je reprends ici plusieurs phrases et éléments d'un commentaire laissé chez Mario il y a 2 ans. C'est probablement la preuve que nous n'avançons pas très vite!)

Juste avant, je précise que je ne suis pas spécialiste en évaluation et mesure, mais que, en tant que chercheur, je m'intéresse beaucoup aux "chiffres", aux statistiques et aux méthodes quantitatives. Sans être spécialiste, je crois avoir une opinion bien informée!

Si je considère que le retour aux notes chiffrées est un recul, c'est qu'il y a un problème majeur avec l'utilisation des pourcentages comme indicateur du progrès ou de l'apprentissage. Ce problème, c'est qu'ils sont porteurs d'une illusion malsaine, illusion que la ministre et plusieurs acteurs des médias entretiennent et sur laquelle nous avons fondé plusieurs comportements inadéquats. En effet, la vérité est que les pourcentages que l'on retrouve dans les bulletins n'ont pas la valeur ou la signification que nous leur attribuons. En gros, le 90% obtenu dans une classe avec un enseignant X n'a pas la même valeur que le 90% obtenu dans une autre classe avec l'enseignant Y. Il est donc erroné de les comparer!

Pourquoi? Les raisons sont fort nombreuses.

D'abord, les enseignants sont trop occupés pour avoir le temps de s'assurer que les questions/items/critères/outils qui servent à évaluer sont fidèles et valides. Ils font de leur mieux, mais ils ne mesurent pas toujours très précisément ce qu'ils croient ni aussi précisément qu'ils le désirent. Je ne critique pas, j'ai plusieurs enseignants très proches de moi et je sais qu'ils font plus que ce qui est raisonnablement possible... Mais construire un outil d'évaluation qui soit fidèle et valide représente une quantité de travail importante. On ne peut exiger cela des enseignants.

Ensuite, les conditions d'évaluation ne sont pas suffisamment contrôlées pour permettre des comparaisons. Les outils d'évaluation diffèrent d'un enseignant à l'autre. Les évaluations n'ont pas toutes lieux au même moment de la journée ou du trimestre. L'enseignement/apprentissage n'a même pas été fait de la même manière, suivant le même ordre, avec le même matériel... Dans ce contexte, l'idée de comparaison quantitative à partir des évaluations des enseignants est pratiquement impossible!

La solution? Des épreuves ministérielles? Oui et non... Il y aurait des conséquences malheureuses. Mais n'ouvrons pas cette autre boite de crabes tout de suite... Doit-on imposer une méthode unique et du matériel unique alors? Certainement pas! Ça aussi j'y reviendrai plus bas!

Poursuivons avec les pourcentages...

Les pourcentages que nous (les Québécois) semblons trouver si importants ne permettent conséquemment pas de comparer les classes les unes avec les autres. L'écart de 5 pour cent qui sépare deux enfants de la classe A n'a pas la même valeur que les 5 pour cent qui séparent deux enfants de la classe B. Les moyens d'évaluation diffèrent, probablement parce que les expériences vécues aussi. Il y a ici un problème d'échelle de mesure.

Dans les conditions actuelles, les pourcentages ne constituent pas vraiment une échelle de mesure avec rapports, c.-à-d. que le zéro ne représente pas l'absence complète de compétence/connaissance, que 100 pour cent ne veut pas dire que l'on possède la connaissance absolue, que 50 pour cent n'est pas nécessairement égal à la moitié de 100 pour cent, que la différence entre 60 et 65 n'est pas équivalente à celle entre 90 et 95 parce que dans le second cas elle représente probablement des détails et des nuances très fines....

Les lettres ne sont pas moins précises. Cette évaluation qualitative par l'enseignant est probablement plus juste, car, en tant que professionnel, il peut tenir compte du contexte, des différents types d'observations qu'il a effectuées... Et je leur fais confiance lorsqu'ils me disent que ma fille est passée de B à A en mathématique. Je sais que cela témoigne d'un progrès relatif, mais appréciable, d'un taux de réussite satisfaisant dans ce domaine et d'un niveau de maitrise satisfaisant des savoirs/concepts/règles/notions/compétences enseignés.

Que peuvent faire les pourcentages de plus? Rien sinon entretenir une illusion malsaine. Ces pourcentages ne permettent pas une comparaison valide entre les apprenants. Ainsi, si une jeune fille termine la cinquième année du primaire avec 82 pour cent de moyenne et qu'elle est refusée au programme Sport-Études de sa région parce que la coupure avait lieu à 83 pour cent, un parent aurait certainement raison de grimper dans les rideaux, de sortir ses livres de mesure et de statistique et de tenter d'expliquer aux administrateurs ce programme des choses qu'ils ne veulent peut-être pas savoir. Il serait en droit d'exiger que l'on me prouve que la jeune nageuse qui a eu 83 pour cent de moyenne était RÉELLEMENT meilleure que sa fille. Et la CS serait dans le trouble, car ce sera impossible à prouver! Les cheminements diffèrent comme les contextes d'apprentissage qui varient énormément. Fort à propos, les enseignants ont probablement usé aussi de stratégies d'évaluations différentes...

En tant que chercheur/père, je suis contre l'utilisation de bulletin chiffré. Ils n'apportent pas plus de sens. Ils sont même porteurs d'une illusion malsaine...

Lorsque j'ai écrit la première version de ce billet, alors sous forme de commentaire sur le blogue de Mario, je me demandais pourquoi mes collègues spécialistes en mesure ne réagissaient pas plus vivement. Un collègue de l'UQAM, quelqu'un que je respecte, car il m'a enseigné au doctorat et m'a laissé une impression durable de professionnalisme et de compétence, m'avait répondu que lui et d'autres spécialistes en mesure et évaluation avaient déjà essayé. Leurs avis avaient été tablettés...

Quelques années plus tard, je constate que c'est une pratique courante. Il suffit d'avoir été parent ou d'avoir été à l'école pour être en mesure de décider du fonctionnement de notre système scolaire, de décider du futur d'une société...

Revenons maintenant aux épreuves standardisées. Est-ce une bonne idée d'imposer à tous les apprenants québécois une évaluation unique. Oui et non... En fait, ça pourrait être intéressant, mais c'est dangereux. Considérant la classe politique actuelle, c'est probablement plus dangereux qu'intéressant! Effectivement, les comparaisons seraient plus faciles entre les écoles. Par contre, ça exposerait nos jeunes et la société à un risque bien pire que les avantages que l'on pourrait en tirer. Les enseignants pourraient tenter de se comporter en humains, et, sous la pression des parents, des directions et des jeunes, décider de prendre des raccourcis et devenir des "pros" de l'examen. En gros, comme les enseignants québécois sont compétents, il leur serait facile de préparer les jeunes spécifiquement pour l'examen... Bref, les enseignants se concentreraient exclusivement sur l'examen du début à la fin de l'année. Les jeunes seraient en mesure de répondre à un type de problème et capable de régurgiter exactement ce qui est attendu d'eux. Mais rien de plus, et probablement pas intelligemment. Parlez-en à nos copains du sud... Ils vivent avec un système basé sur les connaissances avec des évaluations standardisées depuis très longtemps. Eux tentent de quitter ce système pour un système très similaire à ce qui a été proposé ici (mais jamais mis en place...)! Un système avec des examens standardisés, si on met trop de pression et on accorde trop d'importance à l'évaluation, peu entrainer une dérive et amener des enseignants à négliger certaines parties du programme qui sont jugé moins importantes et qui, forcément, n'occuperont pas une grande part de l'évaluation. Dans la vraie vie, ce n'est pas ça que les entreprises recherchent. On veut des adultes capables de résoudre des problèmes complexes, des jeunes capables de communiquer, des jeunes capables d'interpréter l'actualité et de juger de la qualité de l'information. J'ai un peu simplifié, mais en gros, en 2010, on n'a pas besoin de perroquets!

Et si on imposait une méthode et un matériel unique?

Si vous avez pensé à cette idée, repérez la cellule responsable et brulez là! Vous vous rendrez service... Pensez-vous réellement qu'une méthode unique et un matériel unique peuvent convenir à des milliers d'apprenants différents, qui vivent dans des régions très différentes, avec des situations socio-économico-politico-familiales différentes? Pensez-vous que tous les enseignants seront à l'aide avec ce matériel unique? Et qui décidera de ce matériel? Le PQ quand ils sont au pouvoir et les libéraux le reste du temps? Le clergé peut-être? Un comité indépendant subventionné par l'état (libéral ou péquiste, selon le moment)? On sait depuis plus de 30 ans que la situation pédagogique idéale, la situation la plus efficace, c'est un enseignant pour un apprenant (note 1). L'enseignant peut alors accorder toute son attention à l'apprenant et adapter chaque seconde de sa formation aux besoins, caractéristiques et préférences de l'apprenant. La clé, c'est l'individualisation. On ne doit pas viser une méthode unique, on doit viser autant de méthode (ou presque) qu'il y a d'apprenants. En ce sens, j'admire tous les efforts des enseignants pour faire de l'enseignement différencié!

Note 1: Bloom (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutorin, Educational Researcher, Vol. 13, No. 6, 4-16 (DOI: 10.3102/0013189X013006004).