Par Patricia Vohl (Univrersité de Montréal)

Selon Durand et Chouinard (2006/2012), une grille d’évaluation descriptive « fournit des renseignements descriptifs en ce qui concerne une performance observée et la situe par rapport à une performance attendue » (p.276). La Figure 1 qui suit est un exemple de ce qu’est une grille d’évaluation descriptive.

Figure 1. Exemple d’une grille d’évaluation descriptive tirée d’un cours de recherche et analyse quantitative.

Utiliser une telle grille comporte de nombreux avantages, aussi bien avant et pendant la réalisation d’une activité d’apprentissage, qu’au moment d’évaluer et de transmettre la rétroaction aux étudiants. Avant la réalisation d’une activité d’apprentissage, la grille d’évaluation descriptive permet à l’enseignant de préciser ses attentes en regard de l’activité à venir, puis de les communiquer clairement aux étudiants.Quand vient ensuite le temps de réaliser l’activité, la grille d’évaluation favorise l’autonomie chez les étudiants : elle leur permet d’ajuster leur production afin de répondre adéquatement aux attentes et elle leur sert d’aide-mémoire. Quand vient le moment d’évaluer, l’enseignant n’a qu’à encercler ou surligner les éléments de la grille les mieux adaptés à la production de chacun des étudiants afin de leur fournir, en peu de temps, une rétroaction détaillée, tout en garantissant l’uniformité du processus. Pour l’ensemble de ces raisons, la grille d’évaluation descriptive nous apparaît un outil d’évaluation à privilégier, particulièrement dans les situations où les défis liés à la communication sont grands, comme tel est le cas dans le contexte de la pandémie actuelle.

Ce court texte a pour objectif d’expliquer comment construire une grille d’évaluation descriptive. Pour ce faire, il sera divisé en deux parties. Dans la première, nous présenterons les quatre composantes d’une grille d’évaluation descriptive, puis dans la seconde nous proposerons quatre étapes afin d’obtenir une grille d’évaluation descriptive complète.

Les composantes d’une grille d’évaluation descriptive (Stevens et Levi, 2005)

Les composantes d’une grille d’évaluation descriptive sont les suivantes : une description de la tâche, une liste des dimensions/critères d’évaluation, une liste des niveaux de performance, et enfin une description, pour chaque dimension/critère, de chacun des niveaux de performance attendu (voir Figure 2).

Figure 2. Les composantes d’une grille d’évaluation descriptive, inspiré de Stevens et Levi (2005)

Alors que la description de la tâche se veut une formulation claire, précise et complète de l’activité d’apprentissage proposée, la liste des dimensions/critères rassemble quelques-unes des habiletés/connaissances qui sont nécessaires pour réaliser la tâche proposée ou les critères qui serviront à l’évaluer. Une grille contient en général entre 3 et 5 dimensions/critères d’évaluation. En ajoutant des pondérations aux dimensions/critères, la grille permet d’indiquer clairement leur niveau de priorisation. La liste des niveaux de performance contient habituellement entre 3 et 5 catégories, bien que certaines grilles en contiennent une seule. La Figure 1 est une grille constituée de 3 dimensions/critères et 4 niveaux de performance.

La description, pour chaque dimension/critère, de chacun des niveaux de performance attendu illustre « […] en termes observables, les caractéristiques et les propriétés d’une performance à chacun des niveaux donnés […]» (Durand et Chouinard, 2006/2012, p.283). Pour Durand et Choinard (2006/2012), chaque critère/dimension peut être relié à une qualité (clarté, variété, suffisance, pertinence, conformité, justesse, exactitude, efficacité, intensité, complétude, finesse, logique, organisation, structure ou encore richesse). Cette qualité peut ensuite être « modulée » (p. 284) afin de décrire chacun des niveaux de performance.

Pour clore cette section, il est important de mentionner que, pour qu’une grille soit efficace, les descriptions doivent respecter deux critères : elles doivent être exhaustives (prévoir tous les cas de figure) et  mutuellement exclusives (ne pas se recouper) (Wiggins, 1998; Beckers, 2002, cités dans Durand et Chouinard, 2006/2012). Cela permet en effet de situer le niveau de performance observé de chacun des étudiants de manière non-équivoque.

Démarche d’élaboration d’une grille d’évaluation descriptive

Afin d’élaborer une grille d’évaluation descriptive, 4 étapes sont proposées par Stevens et Levi (2005). Celles-ci vont comme suit.

1. Réfléchir – Réfléchir aux objectifs du cours, à l’activité d’apprentissage demandée, aux objectifs de cette activité, aux connaissances préalables des étudiants, aux expérience antérieures vécues avec cette tâche, ainsi qu’aux qualités importantes attendues en ce qui a trait aux performances.
2. Faire des listes et rédiger des descriptions – Faire la liste des objectifs visés par le cours ainsi que par l’activité d’apprentissage, décrire ce que serait, de manière générale, le plus haut niveau de performance attendu.
3. Faire des regroupements – À partir du contenu rédigé à l’étape 2, regrouper les idées communes. Cela permet en général d’obtenir les dimensions/critères d’évaluation de la grille, la ou les qualités associées à chaque dimension/critère, puis la description du plus haut niveau de performance attendu, pour chaque dimension/critère.
4. Produire la grille –Indiquer la description de la tâche, les dimensions/critères d’évaluation, les niveaux de performance et la description du plus haut niveau de performance. À partir du plus haut niveau de performance, décrire le plus bas (souvent en y allant par la négative ou en dressant la liste des erreurs typiques), puis s’inspirer de ces deux descriptions pour rédiger les autres. Au besoin, ajouter des pondérations aux critères/dimensions.

Dans ce court texte, nous avons présenté « la grille d’évaluation descriptive ». Nous sommes d’avis que cet outil d’évaluation peut s’avérer fort utile en contexte d’enseignement à distance puisqu’il facilite l’échange d’information entre l’enseignant et les étudiants, en plus de favoriser l’autonomie chez ces derniers. Nous avons mentionné les composantes de cet outil et proposé des étapes afin les créer. Les lecteurs intéressés à aller plus loin sont invités à consulter les textes suivants :

Stevens, D. D., & Levi, A. J. (2005). Introduction to rubrics: An assessment tool to save grading time, convey effective feedback, and promote student learning. Stylus Publishing, LLC.

Durand, M.-J. et Chouinard, R. (2012). L’évaluation des apprentissages : de la planification de la démarche à la communication des résultats. Éditions Marcel Didier inc.

[citationic]

Nathalie Loye, Université de Montréal

Dans les cours à distance, établir un contact régulier et de qualité avec les apprenants pose de réels défis. Par exemple, le fait de fournir une rétroaction aux étudiants, qu’elle soit individuelle ou collective, fait partie naturellement des cours en présentiel. Dans le cas des cours à distance, il faut planifier les manières de guider les apprentissages de manière efficace. Les options technologiques qui permettent des échanges individuels et collectifs sont nombreuses. Les courriels, les échanges de travaux écrits que le professeur peut annoter, les rencontres en visioconférence, l’utilisation du chat ou d’un forum sont des exemples qui permettent de telles interactions. Tous ces exemples demandent toutefois un travail important au professeur et dans certains cas l’effort cognitif nécessaire pour rencontrer les étudiants en grand groupe, sous-groupes ou de manière individuelle est grand pour chacun des participants.

Nous proposons ici d’utiliser les technologies afin d’automatiser certaines tâches de rétroaction aux étudiants. L’une des possibilités consiste en effet à proposer des questions à choix multiples aux étudiants en considérant que chaque choix de réponse est (1) assorti d’un commentaire explicatif automatique lorsqu’il est choisi et (2) corresponde à des erreurs propices à fournir des explications utiles pour guider les apprentissages.

Nous nous inspirons ici de la méthode proposée par King et collègues en 2011. Ces auteurs proposent un guide pour élaborer et apprécier les choix de réponse dans des questions à correction objective. Leur visée est diagnostique puisqu’ils proposent

• de faire des listes d’erreurs possibles et de s’en inspirer pour rédiger des choix de réponse,
• puis d’identifier les raisons des erreurs et de les organiser en une taxonomie.

Le tableau 1 illustre une telle taxonomie comportant 4 niveaux pour la compréhension d’un élève en lecture, les niveaux sont ordonnés en commençant par une compétence peu développée pour aboutir à une compétence développée permettant de trouver la bonne réponse.

Tableau 1. Exemple de taxonomie en lecture (King, et al., 2004, p. 6 – traduction libre)

Ils proposent ensuite des exemples de questions dans lesquels les choix sont catégorisés dans l’un ou l’autre des niveaux (traductions libres).

Exemple 1

Exemple 2

Exemple 3

Personnellement j’utilise cette approche dans mon cours de méthodes quantitatives en ligne aux cycles supérieurs. Dans la plateforme (StudiUM), j’utilise les choix multiples de manière formative sans qu’ils fassent partie de l’évaluation du cours. Chaque choix correspond à un commentaire, certaines questions peuvent avoir plus de choix de réponse que d’autres, et j’autorise les étudiants à revenir sur leur réponse après avoir reçu le commentaire de manière à les laisser libres de naviguer dans les commentaires. Il est vrai qu’il y a un certain travail pour organiser cette évaluation formative, mais par la suite la rétroaction se fait sans mon intervention.

Références

King, K.V., Gardner, D.A., Zucker, S. & Jorgensen, M.A. (2004).. The distractor rationale taxonomy: Enhancing multiple-choice items in reading and mathematics. Assessment report available from Pearson education at: https://images.pearsonassessments.com/images/tmrs/tmrs_rg/Distractor_Rationales.pdf?WT.mc_id=TMRS_The_Distractor_Rationale_Taxonomy_Enhancing

[citationic]

Nathalie Loye et Pierre Gignac

Lorsqu’un professeur donne un cours à distance, l’évaluation soulève de très nombreux défis. L’un de ces défis consiste à contrôler la passation des examens. Dans un cours en présentiel, généralement le professeur, ses assistants ou des surveillants engagés spécialement pour ce travail, assurent la surveillance de la salle d’examens. Ils peuvent ainsi contrôler l’identité des étudiants, s’assurer qu’ils ne communiquent pas entre eux et ne trichent pas. Ils peuvent également éviter qu’ils ne gardent des traces des questions d’examen en contrôlant le matériel auquel ils ont accès (par exemple : interdire les téléphones, fournir les copies et les feuilles de brouillons et tout ramasser à la fin de l’examen). Ce type d’examen prend le plus souvent la forme d’examens écrits constitués de questions à correction objective comme des questions à choix multiples ou dont les réponses nécessitent un développement plus ou moins long (par exemple : problèmes complexes, réflexions critiques, études de cas, etc.).

D’un point de vue pratique, ce type d’examen peut facilement être proposé à distance aux étudiants. Une variété de plateformes utilisées pour l’enseignement (aussi appelées LMS pour Learning Management System; par exemple Moodle, StudiUM) ou de plateformes dédiées (par exemple ExamSoft ou Netquiz) permet d’y reproduire les questions et de les soumettre aux étudiants à un moment choisi, avec un accès individuel et pendant une durée contrôlée. Dans le cas de questions à réponses objectives, ces plateformes assurent en outre la correction de manière automatique.

La question qui se pose est de savoir comment s’assurer de l’identité des étudiants, et surveiller la passation de l’examen comme on le ferait dans la salle d’examen. C’est ce qu’on appelle le proctoring.

Le proctoring est un processus qui permet de superviser les étudiants qui passent un examen à distance en utilisant une caméra vidéo, un enregistrement du son et un accès à leur écran. Cette surveillance peut se faire de trois manières :

• Par un humain en temps réel en utilisant l’audio, la vidéo et le partage d’écran,
• Par un humain qui a accès par la suite aux enregistrements audio, vidéo et de l’écran,
• De manière automatisée grâce à l’analyse des données massives (analytics) générées par la surveillance audio, vidéo et des écrans.

Des logiciels comme SafeExamBrowser[1] peuvent en outre prendre le contrôle de l’ordinateur des étudiants pendant la passation de l’examen afin de le transformer en un poste de travail sécurisé. Ces logiciels peuvent par exemple bloquer la navigation sur Internet ou l’impression, contrôler les menus accessibles, empêcher de lancer d’autres applications durant la passation de l’examen ou de prendre des captures d’écran (voir Foster, 2013 pour plus de détails). Cette surveillance est un créneau lucratif que de nombreuses entreprises exploitent, il existe en conséquence de multiples options, dont la plupart sont payantes et dont le coût dépend souvent du nombre d’étudiants à surveiller.

Le tableau 1 montre cette variété et regroupe divers classements disponibles sur le web (liens en fin d’article).

Note. Les classements dans le tableau sont à titre informatif, et dépendent des critères utilisés par l’évaluateur. Consulter le site de l’évaluateur pour les détails.

Le site de METTL[2]  propose une comparaison des caractéristiques de 5 logiciels souvent mentionnés. Le tableau 2 présente certaines de ces caractéristiques. Il met en évidence la variété de ces logiciels de surveillance.

Tableau 2. Comparaisons de 5 logiciels en fonction de quelques caractéristiques (traduction libre)

Il est clair que l’utilisation de tels logiciels pose de nombreux défis techniques notamment liés à l’intégration informatique au LMS ou à la plateforme utilisée pour l’examen. En conséquence, elle dépend généralement des institutions plutôt que des choix personnels des professeurs. Il est toutefois utile pour eux de savoir que de telles solutions technologiques existent.

En outre, les professeurs ne doivent pas oublier que mettre en pratique des stratégies préventives pour assurer l’intégrité est aussi très important, que l’on ait ou pas recours au proctoring. Ainsi assigner les questions de manière aléatoire aux candidats ou selon un ordre aléatoire permet d’éviter que les étudiants communiquent entre eux pour partager leurs réponses pendant l’examen, limiter le temps de réponse, empêcher les étudiants d’entrer plusieurs fois dans le même examen, ajouter au moins une question nécessitant un développement et varier le type de question sont aussi des stratégies à considérer dans les examens[3]. Ces stratégies sont utiles pour limiter les possibilités de tricherie[4].

Sites utilisés pour le classement des applications de proctoring

Best Online Exam Proctoring Software to Look Up

Top ten (11 listed) online test software solutions

Online Proctoring Services for Higher Education market

Best Exam Software for your business.

Best online Exam Software with remote proctoring

Références

Alessio, H. M., Malay, N., Maurer, K., Bailer, A. J., & Rubin, B. (2017). Examining the effect of proctoring on online test scores. Online Learning, 21(1), 146-161.

Daffin, Jr., L.W., & Jones, A.A. (2018). Comparing student performance on proctored and nonproctored exams in online psychology courses. Online Learning, 22(1), 131-145. doi:10.24059/olj.v22i1.1079

Foster, D. (2013) Online Proctoring Systems Compared, Caveon Test Security, Harry Layman, The College Board. Accessible à https://scholar.google.ca/scholar?hl=fr&as_sdt=0,5&q=%22Online+Proctoring+Systems+Compared%22

Steger, D., Schroeders, U., & Gnambs, T. (2020). A meta-analysis of test scores in proctored and unproctored ability assessments. European Journal of Psychological Assessment, 36(1), 174–184. https://doi.org/10.1027/1015-5759/a000494

Weiner, John A., & Gregory M. Hurtz. (2017). A comparative study of online remote proctored versus onsite proctored high-stakes exams, Journal of Applied Testing Technology 18(1), 13-20.

références

Reisenwitz, T. H. (2020). Examining the Necessity of Proctoring Online Exams. Journal of Higher Education Theory and Practice, 20(1).

Heilporn, G., & Denis, C. (2020). Dispositifs d’évaluation en ligne: des recommandations de la littérature scientifique à des décisions précipitées en pratique. e-JIREF, (1), 165-172. http://journal.admee.org/index.php/ejiref/article/view/229

Woldeab, D., & Brothen, T. (2019). 21st Century assessment: Online proctoring, test anxiety, and student performance.

Whitepaper online proctoring (avril 2020, donne des enjeux à considérer, du moins selon la table des matières) https://www.surf.nl/en/white-paper-online-proctoring-questions-and-answers-about-remote-proctoring

Report on Remote Assessment Procedures. Impact Study and Recommendations on the Implementation of Remote Assessment Procedures in Spanish Universities (avril,2020, discute d’évaluation en ligne, pas de proctoring ) https://library.educause.edu/resources/2020/4/report-on-remote-assessment-procedures

[1] https://safeexambrowser.org/about_overview_en.html

[2]  https://blog.mettl.com/assessment-technology/top-5-proctoring-solution-providers

[3] https://www.memphis.edu/um3d/resources/assessments.php

[4] Voir la section sur la tricherie dans ce site.

[citationic]

Micheline Joanne Durand, professeure, Université de Montréal

mj.durand@umontreal.ca

L’application des pratiques de la CUA dans la mise en place d’une tâche complexe d’apprentissage et d’évaluation a été proposée aux étudiants des programmes en formation des maîtres inscrits au cours ETA1250 à partir de l’année 2015-2016. Il s’agit d’une tâche où les trois principes de la CUA (cités précédemment) sont utilisés de façon interreliée. Le déroulement du développement de cette modalité d’évaluation sera décrit ainsi que les ajustements apportés au cours des années suivantes où le cours s’est donné en présentiel et en ligne.

L’élaboration de cette tâche complexe s’est réalisée avec une équipe de chargés de cours accompagnée d’un membre des services à l’enseignement de l’université ainsi que de la chercheure. Il s’agissait de concevoir des modalités d’évaluation qui répondraient aux exigences du cours c’est–à-dire : Compréhension des enjeux actuels de l’école québécoise en rapport avec les finalités, la nature et la démarche de l’évaluation. Appropriation critique des différents documents ministériels prescrits. Lors de la première mise à l’essai du nouveau cours ETA1250, un des modalités d’évaluation prenait la forme d’une activité synthèse individuelle qui permettrait de cerner la compréhension des étudiants des enjeux actuels de l’évaluation au Québec. Elle avait une pondération de 40%. Il s’agissait de réaliser une carte conceptuelle sur une feuille de format ledger (279 x 432 mm ou 11,0 x 17,0 po) lors de la dernière séance de cours, d’une durée de trois heures, en salle de classe sous la supervision de l’enseignant. Toutes les notes de cours ainsi que le manuel du cours pouvaient être consultés. Différents problèmes sont ressortis notamment dans le questionnaire administré par l’université relatif à l’évaluation de l’enseignement. Ce qui a mené l’équipe des chargés de cours, à la suite de la première année d’expérimentation, a apporté quelques ajustements aux modalités d’évaluation inscrites dans le Plan de cours.

Premièrement, certains étudiants ont exprimé un sentiment d’insatisfaction car ils se sentaient comprimé dans les trois heures du cours (durée) dans un local où la place occupée est restreinte et où les conditions climatiques n’étaient pas toujours favorables en cas de chaleur intense ou froidure, par exemple, (environnement). Il a alors été convenu que la tâche à réaliser pourrait être effectuée en dehors des séances de cours en classe pour laisser le temps nécessaire à l’étudiant de remettre un travail de qualité dans un environnement plus serein.

Deuxièmement, la carte conceptuelle amène l’étudiant à représenter de différentes façons les concepts et les liens entre eux. Plusieurs manipulations sont nécessaires pour en arriver à une illustration satisfaisante. Les étudiants considéraient que le crayon et l’efface n’étaient pas toujours les meilleurs outils pour remettre un travail propre qui représentait bien leur carte conceptuelle. L’utilisation de fiches autocollantes (Post-it) pouvait améliorer la situation mais ce matériel n’était pas indiquer au départ dans les consignes. Après discussion avec les chargés de cours, il a été recommandé que, les étudiants puissent intégrer les technologies et réaliser leur carte conceptuelle à l’aide d’un logiciel tel que Cmap tool. Cette formalité ajoutée à la précédente rendait les étudiants plus efficaces car ils pouvaient utiliser leur équipement personnel pour réaliser le travail demandé selon la durée et l’environnement souhaité.

Troisièmement, la carte conceptuelle est certes un bon instrument pour évaluer les étudiants (Tardif, 2006, Morin, 2018) mais tous ne sont pas familiers et à l’aise avec ce type de représentation. Le niveau d’engagement de l’étudiant variant selon sa motivation et celle-ci est plus grande lorsque l’étudiant a le choix de ses travaux. Il a alors été convenu que trois modalités d’évaluation seraient proposées ce qui permettrait de mobiliser des ressources différentes (affective, conative, cognitive ou métacognitive.) mais qui seraient évaluées selon les mêmes exigences. La figure suivante, Figure 1, illustre ce qui a été proposé aux étudiants inscrits au cours ETA1250, depuis la deuxième année d’expérimentation, soit l’année scolaire 2016-2017. Cette nouvelle proposition était accompagnée d’une grille d’évaluation où l’étudiant pouvait s’assurer des exigences requises pour chacun des critères d’évaluation. Elle était disponible dès le début de la session et les étudiants ont eu la possibilité, pendant les foires aux questions en début de chaque cours (FAQ), de poser des questions d’éclaircissement ou de compréhension pendant toute la durée de la session. L’enseignant avait l’occasion, de cette manière, de réguler les apprentissages des étudiants et de les conforter ou confronter dans leurs façons de faire. Le travail était à remettre à la fin du dernier cours sur la plateforme du cours.

Consignes aux étudiants : Le travail de session a pour but d’évaluer votre compréhension des enjeux actuels de l’évaluation des apprentissages dans le système scolaire au Québec. Vous pouvez choisir entre trois formats : la carte conceptuelle, la réflexion critique ou le feuillet d’information pour répondre à la question : Sur quoi est basée l’évaluation des apprentissages dans le système scolaire au Québec? (autrement dit, qu’est-ce qu’on évalue aujourd’hui? pourquoi on l’évalue? comment peut-on l’évaluer? 1-      Pour la carte conceptuelle : Sélectionnez les 30 concepts (notions) les plus pertinents pour répondre à la question et établissez les liens hiérarchiques entre eux. Vous pouvez faire votre travail en en utilisant un logiciel de carte conceptuelle, (Cmap Tools par exemple), pour créer la carte. 2-       Pour la réflexion critique : Parmi les thématiques travaillées dans le cadre du cours, sélectionnez trois idées pertinentes pour répondre à la question. Argumentez chacune des idées en insérant des citations du livre pour appuyer vos propos. Par ex : d’après vous, quelles sont les avantages et les inconvénients de la façon d’évaluer les compétences des élèves aujourd’hui? Quel est le rôle de l’enseignant? etc. Concluez en faisant un lien avec vos prochains stages. Vous pouvez faire votre travail à l’aide d’un logiciel de traitement de texte et utilisez un correcteur (Antidote, par exemple). 3-      Pour le feuillet d’information : Sélectionnez 5 idées les plus pertinentes pour répondre à la question et expliquer-les à l’aide d’exemples; Vous pouvez avoir jusqu’à 4 pages pour ce feuillet, trois colonnes par page. Vous pouvez également ajouter les images pour personnaliser votre travail. Vous pouvez faire votre travail à l’aide d’un logiciel de mise en plage (Microsoft Publisher ou Scribus, par exemple).

Puis, après deux années d’expérimentation, une nouvelle consigne a été ajoutée afin de recueillir la perception des étudiants, inscrits au cours lors de l’année 2017-2018, sur la raison de leur choix parmi les trois modalités offertes. De plus, la pondération a aussi été modifiée en raison des autres travaux demandés. En effet, au lieu de trois travaux demandés la première année ayant respectivement une pondération de 30%, 30% et 40%, deux travaux sont actuellement demandés représentant une pondération de 30% et de 70%. Cette modification a été rendue nécessaire pour se conformer davantage à des exigences réalistes d’un cours de un crédit sur cinq séances. Le travail comportant les trois modalités d’évaluation est donc passé de 40 à 70%.

Portrait du choix des étudiants en regard des trois modalités d’évaluation.

Il a ainsi été possible de récolter, auprès de certains chargés de cours volontaires[2], les travaux de plus de 400 étudiants ce qui a permis de dresser quelques résultats préliminaires quant au choix du format selon quatre programme : Baccalauréat en éducation préscolaire et enseignement primaire (BEPEP), le baccalauréat en enseignement en adaptation scolaire (BEAS), les 5 baccalauréats en enseignement secondaire (BES) et le baccalauréat en éducation physique et à la santé (BEPS). Des résultats obtenus auprès de tous les groupes pourront être obtenus au cours des prochaines années.

Tableau 1 : Nombre d’étudiants pour chacun des programmes de baccalauréat

Par la suite, le nombre d’étudiants qui avait choisi chacun des formats a été calculé, soit 1- la carte conceptuelle ; 2, la réflexion critique et 3- le feuillet d’information. Le tableau 2 indique que plus de la moitié des étudiants ont choisi la carte conceptuelle ce qui confirme notre première idée de modalité d’évaluation.

Tableau 2 : Nombre d’étudiants pour chacun des choix de format de la modalité d’évaluation

Il a ensuite été observé la présence de disparités dans le choix des formats selon les programmes où la carte conceptuelle était la modalité la plus populaire dans trois programmes sur 4. La figure 2 illustre les résultats récoltés.

Figure 2 : Choix des formats selon les programmes du baccalauréat en enseignement

Dans la majorité des programmes, soit trois sur quatre, les étudiants choisissent de façon marquée la carte conceptuelle comme premier choix. Chez les étudiants du BEPEP (nb=86) et du BEPS (nb=23), c’est plus de 68% d’entre eux (nb=211) tandis que chez les étudiants du BEAS, c’est 49% d’entre eux (nb=90). Les étudiants du BES quant à eux choisissent majoritairement la réflexion critique à 74% (nb=43).

Justification du choix de format des étudiants

Au-delà de ces choix, c’est la justification de ceux-ci qui révèlent des données sur la motivation et l’engagement des étudiants. Lors de la quatrième année d’implantation, il a été demandé à certains étudiants de justifier leur choix c’est-à-dire de justifier les raisons de leur choix. Il a ainsi été possible de récolter ces informations pour des étudiants du baccalauréat en éducation physique (BÉPS) et du baccalauréat en enseignement en adaptation scolaire (BEAS)[3]. On retrouve deux tendances  dans le contenu analysé: on y décrit le choix du format en indiquant les aspects qu’il permet d’exposer ou on le décrit en fonction des avantages ressentis en comparaison des deux autres choix offerts. Voici quelques verbatim qui illustrent bien ces deux tendances dans chacun des trois formats :

Carte conceptuelle-E1-BÉPS « J’ai choisi de faire une carte conceptuelle car je trouve très pertinent de mettre les idées-clés de l’évaluation des apprentissages en quelques mots. En choisissant un maximum de 30 concepts, ce travail nous force à réfléchir davantage et à être très précis dans nos choix. De plus, cette carte est un outil idéal pour mémoriser rapidement le sujet traité. Ainsi, je peux encoder l’information dans ma mémoire à long terme beaucoup plus facilement qu’un texte de plusieurs pages. Enfin, je pense réutiliser l’outil Cmap pour d’autres projets en raison de sa simplicité et de son utilité.

Carte conceptuelle-E11-BÉPS « J’ai choisi de faire une carte conceptuelle parce que j’ai de la difficulté à être concise dans mes études lorsque j’écris des textes. Je trouvais donc que les contraintes pour le texte et la brochure allaient possiblement me poser problème. De plus, la carte conceptuelle n’est pas un outil que je suis habituée à utiliser lors de mes travaux et elle force à être concise dans les idées étant donné qu’il faut schématiser les concepts et les liens entre eux. Je trouvais donc que c’était un bon défi pour moi et cela me permettrait de mettre de l’ordre dans mes idées. Finalement, la carte conceptuelle est très claire visuellement et permet de comprendre facilement et rapidement les concepts et les liens entre ceux-ci. »

Réflexion critique –E2-BÉPS « J’ai choisi de faire une réflexion critique parce qu’elle me permet d’élaborer plus en détails ma réflexion et les concepts autour de l’évaluation. Une carte conceptuelle permet de mettre en relation des concepts mais ne permet pas une grande élaboration de ceux-ci. Un feuillet d’information doit contenir de l’information vulgarisée. En choisissant la réflexion, je peux m’exprimer avec plus de liberté qu’avec la carte conceptuelle ou le feuillet d’information.»

Réflexion critique-E15-BEAS « La réflexion critique permet selon moi un niveau de compréhension et une acquisition des connaissances plus grande. Cela nous permet de repasser en revue toutes les compétences comprises dans ce cours. Devoir réfléchir, établir un compte rendu et mettre en œuvre ces acquisitions, nous permet par la suite de déduire une panoplie de points communs. Je préfère former un texte puisque mes idées se clarifient davantage et cela me permet d’établir un texte concis et clair. »

Dépliant- E18-BEAS- « J’ai choisi de faire un dépliant parce que l’option était attrayante visuellement. On peut s’amuser en ajoutant des images et en travaillant la mise en page. Il y a un côté créatif à ce travail. On ne doit pas simplement écrire des paragraphes. On doit rendre la chose attrayante pour les lecteurs. De plus, c’est un bon format à conserver dans mes affaires en tant que future enseignante.»

Dépliant-E22-BEAS « Dans le cadre de ce présent travail sur l’évaluation des apprentissages dans le système scolaire au Québec, le feuillet d’information a été adopté. Comparé au schéma conceptuel et à la réflexion critique, ce format permet de diffuser de l’information concise et structurée. Les données qui y sont véhiculées permettent à un individu ou à un ensemble de personnes de recevoir un minimum d’informations sur le sujet donné. Cet outil permettra de faire connaître au public les principes de base de l’évaluation des apprentissages de manière visuelle, accessible et peu coûteuse. »

Le fait que les résultats aient été obtenus auprès d’une partie seulement des étudiants présente une limite à cette analyse. Une collecte plus poussée des données pourrait permettre d’observer si le format choisi ou l’appartenance à un programme d’enseignement ont une influence sur les résultats scolaires des étudiants et de cerner si les modalités d’évaluation mises en place sont réellement inclusives. Ainsi, une recherche plus exhaustive pourrait porter sur cet objet. De la même façon, la grille servant à l’évaluation de ce travail pourrait être analysée afin d’assurer que le jugement est équitable pour les trois modalités d’évaluation proposées. Il sera alors possible d’examiner si les modalités d’évaluation mises en place favorisent la réussite scolaire des étudiants universitaires. Car si l’enseignement est inclusif, l’évaluation doit l’être aussi.

Ceci n’est pas nouveau puisque dès 1992 Perrenoud indiquait que les procédures ordinaires d’évaluation sont des freins au changement des pratiques pédagogiques. Plus récemment, Philion, Lebel et Bélair (2010) soulevaient deux principaux défis liés à l’application de la CUA en milieu universitaire. Le premier, nommé « la tâche professorale » explique que l’enseignement selon ce modèle demande un grand investissement en temps de la part des professeurs. Le second défi posé concerne la finalité des programmes universitaires. En effet, on s’interroge sur la façon d’appliquer une pédagogie inclusive tout en respectant les exigences des programmes. Parmi les préoccupations soulevées, « la prise en compte des différences individuelles des étudiants interroge indéniablement de nombreux membres du corps professoral universitaire, notamment en ce qui a trait aux mesures d’évaluation à mettre en œuvre et aux risques inhérents que celles-ci altèrent la finalité des programmes » (Philion, Lebel et Bélair, 2010, p.8).

Dans ce contexte, le processus de modification du Plan de cours représente une première étape pour travailler avec des groupes d’enseignants, chargés de cours, afin d’appliquer des principes de la CUA tant dans l’enseignement que dans les modalités d’évaluation que les cours se donnent en présentiel ou à distance.

Références

Morin, M. (2018). Expérimentation de la cartographie conceptuelle comme dispositif de collecte de données en vue de l’évaluation des apprentissages. Thèse de doctorat Université de Montréal. https://papyrus.bib.umontreal.ca/xmlui/handle/1866/21830

Perrenoud, P. (1992). Différenciation de l’enseignement : résistances, deuils et paradoxes. Cahiers Pédagogiques, Paris. 306, p. 49–55.

Philion, R. ; Lebel, C. ; Bélair, L. Le modèle Universal Instructional Design au service de l’égalité des chances dans les universités canadiennes : apports, enjeux et défis, Éducation et socialisation, 2012,DOI : 10.4000/edso.780. http://journals.openedition.org/edso/780

Tardif, J., (2006). L’évaluation des compétences: documenter le parcours de développement. Montréal, Canada : Chenelière Éducation,

[1] Ce texte est le 3^e d’une série traitant de l’évaluation formative/différenciation pédagogique et tâche complexe et authentique.

[2] Ce ne sont pas tous les chargés de cours qui ont appliqué cette consigne dans le Plan de cours lors de cette année scolaire.

[3] Résultats obtenus auprès des chargés de cours qui avaient intégré cette nouvelle consigne

[citationic]

Sébastien Béland (Université de Montréal)

Les questions permettant d’évaluer les bonnes et les mauvaises réponses des étudiants sont très populaires sur les plateformes pédagogiques en ligne. Cette catégorie de questions peut prendre plusieurs formes : choix de réponse multiple, vrai ou faux, questions à apparier, etc. Nous allons, dans ce qui suit, présenter succinctement trois stratégies permettant d’analyser la qualité du questionnaire utilisé : calculer la difficulté d’une question, calculer la capacité discriminante d’une question et estimer la fidélité des scores.

Préparer les données avant les analyses

Pour faciliter le travail, il est recommandé d’organiser les résultats d’évaluation à l’aide d’une matrice où les questions sont insérées en colonnes et où les bonnes (notées « 1 ») et mauvaises (notées « 0 ») réponses sont insérées en rangées. Un exemple de matrice prendrait la forme suivante dans une situation où dix étudiants ont répondu à quatre questions.

Les analyses qui suivent seront inférées à partir de cette matrice de résultats d’évaluation.

La difficulté d’une question

La difficulté d’une question peut prendre la forme d’une proportion qui se calcule en divisant le nombre de bonnes réponses à une question par le nombre total d’étudiants évalués. Ainsi, dans une situation où huit étudiants sur dix ont eu une bonne réponse à une question précise, la difficulté est égale à 8/10= ,8. Évidemment, si aucun étudiant n’a obtenu de bonne réponse à la question, l’indice est égal à zéro et il est égal à un si tous les étudiants ont réussi la question. La dernière rangée de la matrice de réponses suivante présente la valeur de la difficulté pour chacune des questions.

Nous constatons que la première question est la plus facile, car elle est réussie par 80% des étudiants. À l’opposé, la cinquième question est la plus difficile, car seulement un étudiant y a obtenu une bonne réponse. Un évaluateur pourrait décider de rejeter une question selon une difficulté qu’il considère inacceptable, par exemple dans le cas d’une question trop difficile pour le groupe d’étudiants évalué.

La capacité discriminante d’une question

On dira qu’une question discrimine bien si elle permet aux étudiants qui maîtrisent bien le contenu évalué de se distinguer de ceux qui ne maîtrisent pas le contenu évalué. Plusieurs stratégies permettent de calculer la capacité discriminante d’une question. La plus connue est celle qui utilise le coefficient de corrélation point-bisériale, qui corrèle la réponse à une question avec les scores totaux des étudiants au questionnaire (avec ou sans cet question). La dernière rangée de la matrice qui suit présente la valeur de la discrimination pour chacune des questions.

Il existe des barêmes pour estimer ce coefficient. Une valeur inférieure à zero indique que la question ne discrimine pas. Lorsque la valeur de la discrimination est située entre 0 et ,09, on dit que la question présente une très faible discrimination. La discrimination de la question est « faible » pour des valeurs entre ,10 et ,19; « modérée » pour des valeurs entre ,20 et ,29; « bonne » pour des valeurs entre ,30 et ,39; et « très bonne » si elle est au-dessus de ,40 (Laveault et Grégoire, 2014; Nunnaly et Bernstein, 1994). Selon ces valeurs, nous observons que la question deux présente une discrimination modérée et toutes les autres questions présentent des discriminations qualifiées de « bonne » ou « très bonne ».

La fidélité des scores

La fidélité des scores réfère à la capacité d’un questionnaire à générer peu d’erreur ou, pour le dire autrement, être précis[1]. Celle-ci est généralement estimée à l’aide d’un coefficient qui prend théoriquement une valeur entre zéro et un. Plus la valeur de ce coefficient approchera de la valeur de l’unité, plus on considérera que les scores au questionnaire sont « fidèles ». Une convention informelle, mais répandue, stipule qu’une valeur minimale de ,7 est nécessaire pour considérer qu’un questionnaire a une fidélité acceptable. Nous devons mentionner que ce ,7 n’est pas unanimement accepté dans la communauté en mesure et qu’une autre valeur minimale pourrait être acceptée, au besoin.

Nous avons utilisé deux coefficients pour estimer la fidélité des scores des réponses utilisée dans ce court article. D’abord, le coefficient alpha de Cronbach (1951) est égal à ,58 et le coefficient omega de McDonald (1985, 1999) est de ,64. Quoique légèrement différents, ces valeurs nous indiquent essentiellement la même chose : le questionnaire présente une précision limitée. Ainsi, il serait probablement pertinent de retravailler cette évaluation en ajoutant quelques questions et en s’assurant que les questions déjà utilisées sont bien écrites.

L’analyse de la qualité des questions à l’aide du logiciel JASP

         Les analyses précédentes ont été produites à l’aide de JASP, qui est offert en téléchargement gratuit à l’adresse suivante :

Après avoir intégré les résultats de l’évaluation dans le logiciel, il faut sélectionner l’onglet « Descriptives » et, ensuite, « Reliability Analysis » :

Ensuite, il faut sélectionner « Mean » pour calculer la difficulté des questions, « Item-rest correlation » pour calculer la discrimination des questions et « Cronbach’s  » ainsi que  « McDonald’s  » pour obtenir des estimations de la fidélité des scores.

Références

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334.

Laveault, D.et Grégoire, J.(2014).Introduction aux théories de tests en psychologie et en sciences de l’éducation(3eédition). Bruxelles: De Boeck Université.

McDonald, R. P. (1985). Factor analysis and related methods. Mahwah, NJ: Lawrence Erlbaum.

McDonald, R. P. (1999). Test theory: A unified treatment. Mahwah, NJ: Lawrence Erlbaum.

Nunnally, J.C. et Bernstein, I.H. (1994) The Assessment of Reliability. Psychometric Theory, 3, 248-292.

[1] L’information contenue dans cette section peut être obtenue de différentes façons. Nous allons uniquement traiter de la stratégie appelée « consistance interne ».

[citationic]