Défense demémoire de Monsieur Thibaut Berg

Etude comparative des achievements et des leaderboards dans le cadre de l'apprentissage du test logiciel

 

La pratique du test logiciel peine à se généraliser dans l'industrie du développement logiciel. Ce constat s'applique également dans le cadre académique, où les étudiants consacrent souvent peu d’énergie à cette activité, par manque de motivation ou de temps.

Afin de répondre à ces problématiques, cette étude explore l’utilisation de la gamification comme levier d’engagement dans le test logiciel. Après une revue de l’état de l’art portant sur les techniques de test et les principes de la gamification appliqués au développement logiciel, un plugin IntelliJ existant a été réutilisé et amélioré. Initialement centré sur un système d’achievements, ce plugin a été complété par un leaderboard, permettant de comparer ces deux approches. Les achievements sont des badges, ici représentés par des trophées, attribués lorsque l'utilisateur atteint certains niveaux d'avancement dans le plugin. En revanche, un leaderboard est un tableau qui classe les différents participants en fonction des points qu'ils ont obtenus. L’objectif est de déterminer le mode qui favorise l'implication des étudiants, tout en ayant de meilleures performances dans l’écriture de tests.

Une expérimentation a été menée selon un protocole qui inclut un test croisé sur deux groupes d'étudiants en sciences informatiques. Elle a pour objectif de mesurer l'impact de chaque mode de jeu sur l'implication des utilisateurs, ainsi que des performances obtenues en termes de couverture de code et de score de mutation. Les données ont été collectées via des questionnaires distribués aux participants et via les métriques enregistrées automatiquement par le plugin.

Les résultats montrent une préférence des utilisateurs pour le mode achievements, perçu comme plus engageant et plus durable à long terme. En revanche, les mesures de couverture de code et de score de mutation n'ont pas permis de départager clairement les deux modes. Ces résultats ont probablement été induits par un faible taux de projets valides pour l'analyse. Sur 45 utilisateurs présents pour l'expérimentation, seuls huit d'entre eux ont envoyé, pour chaque session, un projet qui compile. Malgré tout, l’analyse de la taille de l’effet suggère une légère tendance en faveur des achievements, sans toutefois atteindre un seuil de signification statistique.

Mots-clés : Génie logiciel, Test logiciel, Gamification, IDE, IntelliGame

 

Contact : Benjamine Lurquin - secretariat.info@unamur.be
Télecharger : vCal