Guillaume Loignon soutiendra sa thèse de doctorat le 21 septembre prochain, à 15 h. Monsieur Loignon est collaborateur étudiant au GRIÉMÉtic, et un étudiant de Nathalie Loye à l’Université de Montréal.
Titre : «Une approche computationnelle de la complexité linguistique par le traitement automatique du langage naturel et l’oculométrie»
Modélisation, élaboration et évaluation des rapports à visée diagnostique des données du PIRLS 2011
Soutenance de thèse de Dan Thanh Duong Thi, sous la direction de recherche de Nathalie Loye (Département d’administration et fondements de l’éducation.)
Le 26 septembre à 13h30
Cette étude s’inscrit dans l’approche diagnostique cognitive (ADC) dont la finalité est de fournir aux enseignants des rétroactions fines et détaillées sur les forces et les faiblesses cognitives des élèves à travers des rapports diagnostiques compréhensibles et interprétables. Elle a été menée dans le but de répondre aux grands besoins des enseignants de recevoir des informations diagnostiques à partir des tests à grande échelle et de combler le manque des recherches empiriques sur l’élaboration et l’évaluation des rapports diagnostiques. Plus précisément, notre étude vise à : (1) modéliser des données de 4762 élèves canadiens ayant pris le test PIRLS 2011 et (2) élaborer et évaluer des rapports diagnostiques destinés aux enseignants à partir des résultats des modélisations.
Afin de répondre au premier objectif, des habiletés sous-jacentes jugées nécessaires pour répondre aux 35 items du PIRLS 2011 ont été identifiées à partir du cadre de référence de l’élaboration du PIRLS 2011 et avec un panel d’experts comprenant trois membres. Deux matrices Q1 et Q2, représentant les liens entre les items et ces habiletés, ont été ensuite élaborées. Avec ces deux matrices Q, nous avons modélisé des données avec les modèles DINA et G-DINA permettant d’évaluer l’ajustement des modèles aux données et d’estimer la qualité diagnostique des items ainsi que les profils de maitrise des habiletés des élèves.
Quant au deuxième objectif de l’étude, un panel d’experts de cinq membres ont élaboré trois formats de rapports à partir d’un profil-type. L’évaluation des rapports a été effectuée auprès de 98 enseignants au primaire, des conseillers pédagogiques et des orthopédagogues à l’aide d’un questionnaire administré en ligne portant sur la préférence, l’évaluation de la qualité et de la compréhension des rapports.
Les résultats obtenus nous suggèrent un format de rapport de préférence des participants, ce qui s’explique par la familiarité du type de graphique présenté. Cette préférence est constante peu importe des informations contextuelles. Les participants ont une évaluation très positive de la qualité des rapports, ce qui ne varie pas selon les variables contextuelles. Par contre, une différence significative se trouve entre l’évaluation de la qualité et la préférence des rapports. Les participants qui évaluent leur format préféré ont des perceptions plus positives. Quant à la compréhension, des participants ont une très bonne compréhension de trois formats de rapports. Le groupe comprennent mieux les rapports sont ceux dont l’évaluation de la qualité est plus positive.
Les résultats de l’étude mettent en évidence la possibilité de recevoir des rétroactions plus fines et détaillées sur les forces et les faiblesses des élèves des épreuves à grande échelle à travers des rapports accessibles, fiables et compréhensibles. Notre étude est la première qui applique un cadre de référence de l’élaboration et de l’évaluation des rapports dans une approche diagnostique cognitive et contribue donc à favoriser le soutien de l’apprentissage en lecture au primaire.
Building a validity argument for the listening component of the Test de connaissance de français in the context of Quebec immigration
Soutenance de thèse de Angel Manuel Arias de Los Santos, au Département d’administration et fondements de l’éducation. Sous la direction de recherche de Jean-Guy Blais et la codirection de Michel D. Laurier.
Jeudi 14 juin à 14h00
Université de Montréal – Pavillon Roger-Gaudry
Résumé
L’évaluation linguistique est une pratique omniprésente dans les contextes d’immigration, utilisée comme une méthode de collecte de données pour évaluer la capacité des immigrants à communiquer dans la langue du pays d’accueil afin de promouvoir l’intégration sociale et économique ainsi que la productivité au travail (McNamara & Shohamy, 2008). Contrairement aux tests d’anglais, peu d’attention est accordée à l’interprétation et aux usages des scores aux tests en français, ce qui incite – et demande – de la validation des scores pour justifier les usages des tests. Cette étude, qui fait appel aux avancées de la théorie de la validité des tests (Kane, 2006, 2013), construit un argumentaire de validité pour la composante de la compréhension orale du Test de connaissance du français (TCF) dans le contexte de l’immigration au Québec. La théorie de la validité des tests a évolué considérablement depuis le modèle tripartite traditionnel de contenu, de prédiction et de construit (Cronbach et Meehl, 1955), a été conceptualisée comme un construit unitaire (Messick, 1989) et, plus récemment, a été théorisée en termes d’argumentation (Kane, 2006, 2013), empruntant des concepts de modèles d’inférence (Toulmin [1958], 2003), qui englobent des inférences de notation, de généralisation, d’explication, d’extrapolation et de décision, ayant des rôles importants dans un argumentaire de validité.
Dans une approche de validité fondée sur l’argumentation, les affirmations relatives aux instruments de mesure sont composées de garanties qui doivent être étayées par des études empiriques, qui sont fondamentales pour les affirmations, mais qui appuient également les inférences qui autorisent chacune des affirmations de l’argumentaire. Plus précisément, cette étude a analysé des données empiriques pour appuyer les inférences de notation, de généralisation et d’explication, en proposant trois questions de recherche portant sur la représentativité du construit du TCF, le fonctionnement différentiel d’items et l’utilité de la technique de collecte de données. Les questions ont porté sur les sous-compétences de compréhension orale dont le TCF évalue, le fonctionnement différentiel des items (FDI) selon le genre, la langue maternelle, l’âge et l’emplacement géographique des candidats ainsi que le fonctionnement des items à choix multiples (MC) dans l’évaluation de la compréhension orale en langue seconde.
L’approche de la validité fondée sur l’argumentation s’avère utile pour regrouper des études empiriques dans un ensemble cohérent permettant d’étayer et de justifier l’interprétation et les utilisations du TCF dans un contexte d’immigration, qui peut à son tour servir à remédier les points faibles constatés, en fournissant un moyen d’atténuer les réfutations potentielles qui menacent la validité de l’argumentaire. Certaines mises en garde dans le cadre de validation sont également soulignées et concernent l’accessibilité des données pour aborder les inférences d’extrapolation et de décision dans des contextes d’immigration, mais comme Newton et Shaw (2014, p. 142) le soulignent: « l’approche de validité fondée sur l’argumentation sous-tend le fait que la validation n’est pas simplement une étude isolée, mais un programme: potentiellement un programme très intensif ». Et ce programme peut inclure des parties prenantes importantes comme les représentants gouvernementaux qui peuvent aider à compléter l’argumentaire de validité du TCF en matière d’immigration au Québec.
Très brillante soutenance de thèse de Pierre Gignac la semaine dernière.
L’équipe du GRIÉMÉtic tient à le féliciter chaleureusement pour l’obtention de la mention exceptionnelle lors de sa soutenance de thèse qui avait lieu jeudi le 15 février dernier. Elle a été réalisée sous la direction de recherche de Nathalie Loye, Département d’administration et fondements de l’éducation, Université de Montréal, et sous la co-direction de Mickaël Gardoni, Département de génie de la production automatisée, ÉTS.
Félicitations au nouveau docteur!
Le 15 février 2018 à 13h30
Université de Montréal, pavillon Marie-Victorin, local B-328
Proposition de reconceptualisation de la capacité d’absorption : la capacité d’absorption actualisée.
Reconnaître la valeur des signes précurseurs de changements technologiques imminents, sociaux ou en santé, requiert un esprit alerte et ouvert. S’approprier, maîtriser et exploiter par des innovations les connaissances émergentes, publiques ou échappées d’une recherche, exigent plus que curiosité et intuition. Cohen et Levinthal (1989a, b, 1990) ont nommé « capacité d’absorption » cette habileté : « la capacité de reconnaître la valeur d’une nouvelle information, de l’assimiler et de l’exploiter à des fins commerciales (1990 : 128) ».
Jamais opérationnalisées pour en expliquer l’apparition, nous suggérons un premier modèle de développement des habiletés « d’absorption ». Nous montrons que les habiletés d’apprentissage, de changements dynamiques et créatives permettent aux organisations de migrer de l’imitation de produits/services vers l’innovation radicale. De la conjonction organisationnelle des trois habiletés émergent la reconnaissance de valeur des informations repérées et la capacité d’absorption. Notre modèle se conforme à la Taxonomie de Bloom. L’ajout des connaissances systémiques et complexes et du volet cognitif « anticiper » y intègre la recherche en gestion. Le SECI (Nonaka et Takeuchi, 1995) et le modèle componentiel de la créativité (Amabile, 1996) soutiennent notre approche.
Cohen et Levinthal (1989a, b, 1990) ont montré que ces habiletés permettent d’anticiper les technologies à venir. Zou, Ertug et George (2018) synthétisent 30 ans de recherches empiriques et exposent son importance pour l’innovation et les transferts de connaissances.