Interaction gestuelle avec un Leap Motion: état des lieux

Défense de mémoire d'Alain Willemet

Le Leap Motion est un périphérique de reconnaissance de gestes. Introduit en 2013, il est le premier appareil compact qui permet de reconnaître les gestes de la main.

Pour analyser le Leap Motion de manière critique, trois questions de départ se posent :

 

-          répond-il aux attentes des utilisateurs en matière de précision, de fiabilité et de robustesse ?

-          quelles sont les applications les plus prometteuses du Leap Motion ?

-          quelles sont les bonnes pratiques dans la création d’une application intégrant le Leap Motion ?

 

Pour explorer le sujet, le domaine de reconnaissance de gestes est établi : définitions, classifications, catégorisation des périphériques et types de reconnaissance. Le Leap Motion est présenté comme périphérique de reconnaissance de gestes par la vision et son intérêt est démontré.

Afin de répondre à la première question, des articles scientifiques récents traitant des qualités du Leap Motion sont analysés. Sur base de cette analyse, la précision, la robustesse, les capacités de pointage et d’interaction et les facultés de reconnaissance du capteur Leap Motion sont évalués.

Pour répondre à la deuxième question, les applications observées du Leap Motion sont classifiées dans l’état de l’art par thème, sur base d’articles scientifiques. Cette classification permet ensuite de les catégoriser. Enfin, une analyse critique identifie les plus prometteuses et suggère des améliorations.

Afin de répondre à la troisième question, l’interface de programmation API du Leap Motion est analysée : sa librairie dynamique, ses classes, ses six types de données et leurs paramètres. Des tests menés à l’aide de programmes java permettent d’évaluer ses capacités de reconnaissance.

 

Ensuite, un cas d’utilisation de l’application sur une carte est choisi. Il consiste à déplacer cette carte dans les quatre directions puis à la zoomer et à la dézoomer.

Afin d’identifier les gestes les plus intuitifs pour effectuer les opérations du cas d’application, les comportements de différents utilisateurs sont collectés lors d’une enquête. La carte est présentée à l’aide d’un ordinateur sur lequel aucun programme n’est implémenté. Les attentes d’interaction gestuelles sont expliquées puis les résultats sont synthétisés.

 

Sur base des gestes les plus utilisés lors de l’enquête, un prototype logiciel d’optimisation de l’interaction gestuelle est créé. Ce prototype est présenté aux utilisateurs de l’enquête afin de le tester. Ces tests vérifient la satisfaction des utilisateurs et identifient les éléments à améliorer en ce qui concerne l’interaction gestuelle.

Contact : Isabelle Daelman - 4966 - isabelle.daelman@unamur.be
Télecharger : vCal