Interactions gestuelles en réalité augmentée appliquée au cas de l’analyse structurale

Défense de mémoire de Jonathan Beersaerts

Durant ces dernières années, la réalité virtuelle et augmentée a gagné en popularité, tant auprès des entreprises que des particuliers, grâce à la disponibilité de périphériques facilitant l'accès à de telles technologies. Dans cette optique, le projet EFFaTA-MeM considère notamment les fonctionnalités offertes par la réalité augmentée afin de proposer des outils de visualisation et d'interaction pour l'analyse structurale de texte. Ce travail a pour objectif d'explorer les capacités du casque Microsoft HoloLens par le biais de la conception de visualisations, et leur manipulation, pour assister les analystes. Les résultats de cette exploration sont l'élaboration d'un prototype de visualisation pour lequel un ensemble de gestes de manipulation est défini et nécessite une extension des capacités de détection et reconnaissance de gestes de l'HoloLens, réalisable à l'aide de deux architectures logicielles proposées. Par ailleurs, une preuve de concept avec un dispositif de détection des mains Leap Motion est réalisé et détaillé dans ce travail. Enfin, les résultats présentés ouvrent la voie à des travaux futurs tels que l'exploration d'autres paradigmes d'interactions ou encore l'étude de méthodes d'apprentissage automatique dédiées à la définition de gestes pour en faciliter le processus de reconnaissance.

 

In recent years, virtual and augmented reality increased in popularity among both businesses and individuals, thanks to the availability of devices that facilitate access to this kind of technology. In this perspective, the EFFaTA-MeM research project notably considers the functionalities offered by augmented reality in order to design visualization and interaction tools for structural text analysis. This work aims to explore the Microsoft HoloLens headset capabilities through the design of visualizations, and their manipulation, to assist analysts. The results of this exploration are the development of a visualization's prototype for which a set of manipulation gestures is defined and requires an extension of gesture detection and recognition capabilities of the HoloLens, which can be implemented using two proposed software architectures. In addition, a proof of concept using a Leap Motion hand detection device is performed and detailed in this document. Finally, the presented results pave the way for future work such as the exploration of other paradigms of interactions or the study of machine learning methods dedicated to the definition of gestures to ease their recognition process.

Contact : Isabelle Daelman - 4966 - isabelle.daelman@unamur.be
Télecharger : vCal