Optimisation multiobjectif des hyperparamètres d'un CNN pour orienter le choix d'un compromis entre exactitude et efficacité énergétique

Défense de mémoire de Mathieu Plapied

Dans un cadre de transfer learning sur CNN, ce mémoire étudie comment l’optimisation multiobjectif des hyperparamètres avec NSGA-II et Optuna permet de créer un front de Pareto
exactitude-énergie et d’identifier un compromis adapté. L’espace de recherche couvre des hyperparamètres clés de l’entrainement comme le learning rate du backbone et du classifier, la weight
decay, le dropout, la taille de batch et le nombre de blocs dégelés. L’analyse fANOVA met en évidence que l’énergie d’entraînement dépend surtout du nombre de blocs dégelés, avec près de
93 % de la variance, tandis que l’exactitude est principalement déterminée par le learning rate du backbone, autour de 91 %. Le front de Pareto observé est concave et présente des rendements
décroissants. À mesure que l’exactitude augmente, l’efficacité énergétique diminue. Un point de genou atteint 98 % de l’exactitude maximale tout en réduisant d’environ 31 % l’énergie par image.
La portée est volontairement limitée à un modèle et un jeu de données, et seule l’énergie d’entraînement est mesurée.

Mots-clés : CNN, transfer learning, Pareto, fANOVA, efficacité énergétique, optimisation multiobjectif, optimisation des hyperparamètres

Contact : Isabelle Daelman - isabelle.daelman@unamur.be
Télecharger : vCal