Multimodal Feedback and Interaction Techniques for Physically Based and Large Virtual Environments
Retour Multimodal et Techniques d'Interaction pour des Environnements Virtuels Basés Physique et Larges
Résumé
Virtual Reality allows the simulation and interaction with Virtual Environments (VE) through different sensory modalities. However, interacting with complex physically based VE, such as non-rigid or large environments, presents many challenges in terms of interaction and sensory feedback. The first part of this Ph.D. thesis addresses haptic and multimodal feedback issues during manipulation of non-rigid media. We first present a novel approach for 6 degrees of freedom haptic interaction with fluids, allowing the generation of force feedback from viscous fluids through arbitrary-shaped rigid bodies. This approach is extended by including the haptic interaction with deformable bodies, thus allowing a unified haptic interaction with the different states of matter. A perceptual experiment showed that users could efficiently identify the different states through the haptic modality alone. Then, we introduce a novel vibrotactile fluid rendering model, leveraging previous knowledge on fluid sound synthesis. Through this approach, we allow the interaction with fluids with multimodal feedback, through vibrotactile, kinesthetic, acoustic and visual sensory channels. The second part of this Ph.D. thesis addresses interaction issues during walking navigation of large VE. Since the VE is often larger than the available real workspace, we introduce a novel navigation metaphor that informs users about the real physical boundaries. Using hybrid position/rate control, this technique provides a simple and intuitive metaphor for a navigation safe from collisions and breaks of immersion. Other workspaces, such as CAVE-like environments, present rotation boundaries due to missing screens. Thus, we present three novel metaphors dealing with these additional boundaries. Overall, the evaluation of these navigation techniques showed that they efficiently fulfilled their objectives while being highly appreciated by users.
La Réalité Virtuelle permet de simuler et d'interagir avec des Environnements Virtuels (EV) à travers différentes modalités sensorielles. Cependant, l'interaction avec des EV basés physique et complexes, comme des environnements non rigides ou larges, présente plusieurs défis en termes d'interaction et de retours sensoriels. Dans la première partie de cette thèse, nous abordons la manipulation de milieux non rigides avec du retour haptique et multimodal. Nous présentons tout d'abord une nouvelle approche pour l'interaction haptique à 6 degrés de liberté avec des fluides. Cette approche permet la génération de retours de force lors de l'interaction avec des fluides visqueux par le biais d'objets rigides de forme arbitraire. Nous étendons ensuite cette approche pour inclure l'interaction haptique avec des objets déformables, menant donc à une interaction haptique unifiée avec les différents états de la matière. Une expérience perceptuelle nous a permis de montrer que les utilisateurs peuvent identifier de façon efficace les différents états en n'utilisant que la modalité haptique. Ensuite, nous présentons un nouveau modèle vibrotactile pour le rendu de fluides, tirant parti de connaissances dans la synthèse de son de fluides. A travers cette approche, nous rendons possible l'interaction avec des fluides tout en générant des retours multimodaux, utilisant les canaux sensoriels vibrotactile, kinesthésique, acoustique et visuel. Dans la seconde partie de cette thèse, nous abordons la navigation basée sur la marche dans des EV larges. Comme les EV sont souvent plus larges que l'espace de travail réel, nous présentons une nouvelle technique de navigation qui permet à l'utilisateur de connaître de façon immersive les limites de son espace de travail en translation. En utilisant un contrôle hybride en position/vitesse, cette technique fournit une métaphore simple et intuitive pour une navigation libre de collisions et de ruptures d'immersion. Comme certains espaces de travail présentent aussi des limites en rotation dues à des écrans manquants, comme dans le cas d'un CAVE, nous proposons ensuite trois nouvelles métaphores de navigation abordant ce problème supplémentaire. L'évaluation de ces techniques de navigation a permis de montrer qu'elles remplissent efficacement leurs objectifs tout en étant très appréciées par les utilisateurs.
Loading...