Interaction "naturelle" en environnements immersifs - Démonstrateur multimodal et validation sur des applications scientifiques
Résumé
This thesis describes the EVI3d platform, which purpose is to integrate all the recent results in human-machine communication to improve the interactions in the field of Virtual Reality (VR). In terms of software architecture, the suggested model is to manage events which transit from an interactive module to another through a distributed server. In order to relieve the 3d calculators from a certain amount of processing load related to the interaction management, several peripherals and modules are exported to other machines. Current VR software systems do not allow this distributed management of immersive interactions. In this context, the EVI3d platform also integrates a software toolkit for the development of applications on various immersive devices. Amongst other things, this module makes it possible to dynamically manage the geometrical configuration of the application according to the geometry of the virtual environment. One of the original functionalities of this software framework aims at freeing the hand from any other device than those associated to the manipulation of the objects. To manage the navigation of the user within virtual scenes, we propose an extension to the vehicle concept. By analyzing the movements of the head of the user compared to a neutral reference frame calibrated beforehand, the approach consists in using this variation to parameterize the displacement of the vehicle in the virtual world. On the basis of this work, this thesis proves the feasibility of a multimodal approach of VR interactions. A demonstrator presents immersive interactions which use a temporal synchronization of the machines to fuse interactive events coming from recognition systems with strong latency (gesture, voice). This software platform validated by its use in three scientific applications: Fluid Mechanics, Visualization of DNA and Computer-aided design in immersive environment.
Cette thèse décrit la plate-forme EVI3d, dont le but premier est d'intégrer tous les résultats récents de la communication humain-machine pour améliorer les interactions en Réalité Virtuelle (RV). En termes d'architecture logicielle, le modèle proposé consiste à gérer des événements qui transitent d'un module interactif vers un autre au travers d'un serveur distribué. Afin de soulager les calculateurs 3d de certaines charges de traitement liées à l'interaction, plusieurs périphériques et modules sont ainsi exportés sur d'autres machines. Les systèmes logiciels actuels de RV ne permettent pas cette gestion distribuée des interactions immersives. Dans ce contexte, la plate-forme EVI3d intègre également un ensemble logiciel pour le développement d'applications sur divers dispositifs immersifs. Ce module permet entre autre de gérer dynamiquement la configuration géométrique et le degré d'immersion de l'application en accord avec celle du dispositif. L'une des fonctionnalités originales de cet ensemble logiciel vise à libérer la main de tout autre périphérique que ceux associés à la manipulation des objets. Pour gérer le déplacement de l'utilisateur au sein de scènes virtuels, nous proposons une extension du concept de véhicule. En analysant les mouvements de la tête de l'utilisateur par rapport à un référentiel neutre préalablement calibré, le principe consiste à utiliser cet écart pour paramétrer le déplacement du véhicule dans le monde virtuel. Cette thèse prouve enfin la faisabilité d'une approche multimodale des interactions en RV. Un démonstrateur présente notamment des interactions immersives qui utilisent une synchronisation temporelle des machines pour fusionner des événements interactifs issus de systèmes de reconnaissance à forte latence (geste, voix). Notons que la plate-forme EVI3d est entre autre validée par son utilisation dans trois applications à caractère scientifique : Mécanique des Fluides, Visualisation d'ADN et CAO en environnement immersif.
Loading...