Interaction multimodale en entrée : Conception et Prototypage

Marcos Serrano 1
1 LIG Laboratoire d'Informatique de Grenoble - IIHM
LIG - Laboratoire d'Informatique de Grenoble, Inria - Institut National de Recherche en Informatique et en Automatique
Résumé : Les interfaces multimodales se caractérisent par la multiplicité des modalités d'interaction et leurs combinaisons. Ces modalités d'interaction atomiques ou combinées sont offertes à l'utilisateur pour interagir avec un système (modalités en entrée) ou exploités par le système pour fournir des informations (modalités en sortie). L'interaction multimodale en entrée ne se limite plus aujourd'hui à la combinaison de la parole et du geste : de nombreuses modalités d'interaction, comme les interactions multi-doigts et bi-manuelles, le suivi du regard ou les interfaces tangibles, ouvrent un vaste espace de possibilités pour la multimodalité. Face à ce constat, il est donc important de pouvoir explorer efficacement l'espace de possibilités lors de la conception d'interfaces multimodales : nos travaux visent à définir des solutions conceptuelles et logicielles pour l'exploration des possibilités en termes d'interactions multimodales en entrée. Nous présentons ainsi une approche à composants pour la conception et le prototypage fonctionnel et/ou non fonctionnel d'interfaces multimodales en entrée. Nous adoptons une approche par flots de données, reposant sur un assemblage de composants qui décrit l'interaction multimodale en entrée pour une tâche utilisateur donnée. Nos contributions sont conceptuelles et logicielles. Notre contribution conceptuelle consiste en un espace de caractérisation de composants logiciels pour la multimodalité en entrée. Cet espace permet de caractériser les composants logiciels au sein de l'assemblage de composants qui décrit une interaction multimodale. Il offre au concepteur un cadre conceptuel afin de lui permettre de décrire précisément des alternatives de conception. Notre contribution logicielle consiste en un outil de prototypage basé sur un modèle à composants qui implémente notre espace de caractérisation (notre contribution conceptuelle). L'outil permet au concepteur de créer et d'exécuter un assemblage de composants définissant une interaction multimodale. Nous avons développé de nombreux prototypes multimodaux sur PC et sur téléphones mobiles à l'aide de cet outil, qu'ils soient fonctionnels ou en partie simulés par un compère humain selon une approche Magicien d'Oz. Ces prototypes mettent en oeuvre une grande variété de modalités d'interaction comme des gestes 2D et 3D, le pointage 3D, la voix, les mouvements de la tête, les mouvements du corps, la géolocalisation ou encore des interactions tangibles.
Type de document :
Thèse
Interface homme-machine [cs.HC]. Université de Grenoble, 2010. Français
Liste complète des métadonnées

Littérature citée [146 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01017242
Contributeur : Marcos Serrano <>
Soumis le : mercredi 2 juillet 2014 - 12:16:17
Dernière modification le : jeudi 11 octobre 2018 - 08:48:03
Document(s) archivé(s) le : jeudi 2 octobre 2014 - 11:20:15

Identifiants

  • HAL Id : tel-01017242, version 1

Collections

Citation

Marcos Serrano. Interaction multimodale en entrée : Conception et Prototypage. Interface homme-machine [cs.HC]. Université de Grenoble, 2010. Français. 〈tel-01017242〉

Partager

Métriques

Consultations de la notice

1011

Téléchargements de fichiers

1149