défense de mémoire de Monsieur ROSNY ANDERSON FODJA KOUANGA

Exploitation des Modèles de Langage (LLM) pour l'évaluation des Retours Etudiants lors des Revues de Code entre Pairs dans l'Enseignement Supérieur

 

Fournir un feedback rapide et pertinent aux étudiants est essentiel pour soutenir leur apprentissage, mais cela constitue une charge importante pour les enseignants, notamment dans l’enseignement supérieur en informatique. La revue de code entre pairs, reconnue comme un outil pédagogique efficace, génère de nombreux feedbacks à évaluer, complexifiant davantage la tâche des encadrants.

Ce mémoire s’intéresse à l’automatisation de l’analyse et de l’évaluation de ces feedbacks grâce aux grands modèles de langage (LLM) tels que GPT-4. Dans le cadre d’une activité de peer code review, pour chaque code soumis, un feedback de référence est automatiquement généré à l’aide d’un prompt structuré, d’une grille de critères et d’une base de connaissances adaptée au cours. Ce feedback de référence permet ensuite d’évaluer automatiquement, selon cinq critères qualitatifs, les feedbacks rédigés par les pairs sur ce même code.

L’étude analyse la cohérence des feedbacks étudiants, leur alignement avec le feedback de référence, l’influence de la longueur des feedbacks et la stabilité des notes attribuées par le modèle. Les résultats révèlent une grande diversité des feedbacks, des corrélations partielles entre alignement et notation, un effet mesuré de la longueur du texte, et une remarquable constance dans la notation.

Ces observations soulignent à la fois le potentiel et les limites des LLMs pour l’évaluation automatisée des feedbacks étudiants, et mettent en lumière la nécessité de poursuivre les recherches dans ce domaine pour améliorer la qualité et l’efficacité de l’accompagnement pédagogique.

Mot-clés : revue de code par les pairs, évaluation par les pairs, grands modèles de langage, GPT-4, code étudiant, intelligence artificielle, évaluation automatisée, pédagogie universitaire, revue de code, génération automatique de feedback, partenariat humain-IA

 

Contact : Benjamine Lurquin - secretariat.info@unamur.be
Télecharger : vCal