Understanding and designing microgesture interaction
Comprendre et concevoir l'interaction par microgestes
Résumé
Over the last three decades, some of the objects we use in our daily life have gradually become computers. Our habits are changing with these mutations, and it is now not uncommon that we interact with these computers while performing other tasks, e.g. checking our GPS position on our smartwatch while biking. Over the last ten years, a new interaction modality has emerged to meet these needs, hand microgestures. Hand microgestures, simplified to microgestures, are fast and subtle movements of the fingers. They enable interaction in parallel with a main task, as they are quick and can be performed while holding an object. However, as it is a recent modality, the field of research still lacks structure and sometimes coherence. For instance, there is no convention for naming or describing microgestures, which can lead to terminological inconsistencies between different studies. Moreover, the literature focuses mainly on how to build systems to sense and recognize microgestures. Thus, few studies examine the expected properties of microgestures, such as speed or low impact on physical fatigue in certain contexts of use. As a result, this thesis focuses on the study of microgestures, from their description to their application in a specific field, i.e. Augmented Reality (AR), as well as their sensing and recognition.
Our scientific approac is comprised of three steps. In the first step, we focus on the space of possibilities. After a literature review to highlight the diversity of microgestures and terminological issues, we present μGlyph, a notation to describe microgestures. Next, we present a user study to understand the constraints imposed when holding an object on the feasibility of microgestures. The results of this study were used to create a set of three rules to determine the feasibility of microgestures in different contexts, i.e. different grasps. For ease of use, we reused μGlyph to provide a visual description of these rules. Finally, we study different ways of making a set of microgestures compatible with many contexts, i.e. that each microgesture in the set is feasible in all contexts.
With the space of possibilities defined, we focus on the design of systems for sensing and recognizing microgestures. After a review of such systems in the literature, we present our easily reproducible sensing systems that we implemented, resulting in two gloves. We then present a user study on the impact of wearing these gloves on the feasibility of microgestures. Our results suggest that our gloves have little impact on the feasibility of microgestures. Next, we present a more comprehensive system that recognizes both microgestures and contexts. Our studies on recognition rates suggest that our system is usable for microgesture detection, with a recognition rate of 94%, but needs to be improved for context recognition, with a rate of 80%. Finally, we present a proof-of-concept of a modular glove and a recognition system based on μGlyph to enable the unification of microgesture sensing systems.
Our final step is then dedicated to interaction techniques based on microgestures. We focus on the properties of microgestures for 3D selection in AR. We have designed two 3D selection techniques based on eye-gaze and microgestures for interaction with low fatigue. Our results suggest that the combination of eye-gaze and microgesture enables fast interaction while minimizing fatigue, compared to the commonly used virtual pointer. We conclude with an extension of our techniques to integrate 3D object manipulation in AR.
Au cours des trente dernières années, certains objets de notre quotidien se sont progressivement mués en véritables ordinateurs. Nos modes de vie changent avec ces mutations et il n’est pas rare que nous interagissions avec ces ordinateurs tout en effectuant d’autres tâches, p. ex. en vérifiant notre position GPS sur notre montre connectée pendant nos sorties vélo. Au cours de la dernière décennie, une nouvelle modalité d’interaction est apparue pour répondre à ces besoins : les microgestes de la main. Les microgestes de la main, simplifiés en microgestes, sont des mouvements rapides et subtils des doigts. Ils permettent d’interagir parallèlement à une tâche principale, car ils sont rapides et réalisables en tenant un objet. Cependant, s’agissant d’une modalité récente, le domaine de recherche manque encore de structure et parfois de cohérence. Il n’existe, par exemple, aucune convention pour nommer ou décrire les microgestes, ce qui peut entraîner des incohérences terminologiques entre les différents articles. De plus, la littérature se concentre principalement sur les systèmes de captation et de reconnaissance de ces microgestes. Ainsi, peu d’études examinent les propriétés attendues des microgestes, comme la rapidité ou le faible impact sur la fatigue physique dans certains contextes d’utilisation. De ce fait, cette thèse s’intéresse à l’étude des microgestes, de leur description à leur application dans un domaine précis, la Réalité Augmentée (RA), en passant par la captation et la reconnaissance de ceux-ci.
Notre démarche scientifique comprend trois étapes.
L’espace des possibles défini, dans une deuxième étape, nous nous concentrons sur la conception de systèmes de captation et de reconnaissance des microgestes. Après une revue de la littérature pour mettre en évidence la diversité des micro- gestes et les problèmes terminologiques, nous présentons μGlyphe, une notation pour décrire les microgestes. Ensuite, nous présentons une étude utilisateur pour comprendre les contraintes imposées sur la faisabilité des microgestes lorsqu’un objet est tenu dans la main. Les résultats de cette étude ont été utilisés pour créer un ensemble de trois règles permettant de déterminer la faisabilité des mi- crogestes dans différents contextes, c.-à-d. différentes préhensions. Pour faciliter l’utilisation, nous avons réutilisé μGlyphe pour fournir une description visuelle de ces règles. Enfin, nous étudions différentes manières de rendre un ensemble de microgestes compatibles avec de nombreux contextes, c.-à-d. que chaque microgeste de l’ensemble soit réalisable dans tous les contextes. Dans la deuxième partie, nous nous concentrons sur la conception de systèmes de captation et de reconnaissance de microgestes. Après une revue de ces systèmes dans la littérature, nous présentons les systèmes de captation mis en œuvre : deux gants. Nous présentons ensuite une étude utilisateur qui suggère un impact faible du port d’un gant sur la faisabilité des microgestes. Ensuite, nous présentons un système plus complet reconnaissant à la fois microgestes ainsi que les contextes de préhension et de la main libre. Nos études sur les taux de reconnaissance suggèrent que ce système est utilisable pour la détection de microgestes, avec un taux de 94%, mais doit être amélioré pour la reconnaissance de contexte, avec un taux de 80%. Enfin, nous présentons une preuve de concept d’un gant modulaire et d’un système de reconnaissance basé sur μGlyphe pour permettre l’unification des systèmes de captation des microgestes.
Notre dernière étape est alors dédiée aux techniques d’interaction basées sur les microgestes. Nous nous intéressons aux propriétés de microgestes pour la sélection 3D en RA. Ainsi, nous avons conçu deux techniques de sélection 3D basées sur le regard et les microgestes pour une interaction avec un faible impact sur la fatigue physique. Nos résultats expérimentaux suggèrent que la combinaison regard et microgestes permet une interaction rapide tout en minimisant la fatigue, en comparaison du pointeur virtuel usuel. Nous terminons sur une ouverture discutant l’extension de nos techniques afin d’intégrer la manipulation d’objets 3D en RA avec des microgestes.
Origine : Fichiers produits par l'(les) auteur(s)