Multimodality with HTML5

Mémoire de MANNARD John

Multimodality is a way of improving human-machine interaction. Studies have shown that it could enhance user productivity and working memory and that humans have a natural way of communicating that is multimodal. Since Bolt’s “put-that-there” experiment in 1979, several multimodal frameworks and findings have emerged but none seem to be designed for WEB applications. Considering the predominance of WEB applications and the advances in WEB technology following the arrival of HTML5, multimodality support seems to be the next natural step for WEB applications. This thesis lists a set of existing technologies fit for multimodality, introduces a new WEB multimodal framework based on these technologies and finally illustrates its usage through a set of examples

Keywords: Multimodal, WEB, EMMA, multimodal framework, put that there, speech, gesture, lattices, HTML5, canvas, WebRTC, WEB video, WEB audio, ink.

 

La multimodalité est un moyen d’améliorer les interactions homme-machine. Des études ont montré qu’elle pouvait accroître la productivité de l’utilisateur et sa mémoire de travail et que l’humain communique naturellement de façon multimodale. Depuis l’expérience du « put-that-there » de Bolt (littéralement, « mets ça là ») en 1979, plusieurs frameworks et travaux de recherches se sont intéressés au sujet mais aucun ne semble s’intéresser au domaine du WEB. Sachant que le WEB est aujourd’hui un domaine prédominant dans la technologie de l’informatique et que le HTML5 a fait émerger un ensemble de nouvelles technologies, il semblerait que la prochaine étape soit d’intégrer la multimodalité aux applications WEB. Sont citées dans ce mémoire les technologies existantes, puis proposé un nouveau framework multimodal orienté WEB illustré par un ensemble d’exemples.

Contact : Debay Maïllis - 081/72.52.52 - secretariat.info@unamur.be
Télecharger : vCal