Rendus sensorimoteurs en environnements virtuels pour l'analyse de données scientifiques complexes
Résumé
By exploiting our visual abilities, Scienti c Visualization aims at o ering engineers and researchers a tool to assist them in knowledge acquisition from complex phenomena. My PhD work ts into this topic. It is nterested in the use of Virtual Reality (VR) technologies in order to put an expert user at the center of the exploration process : Exploration of scienti c datases. To insure an effective exploration process, my research has focused on the development of intuitive interaction techniques that may exploit the sensory-motor capacity of humans. To achieve this goal two conditions are expected. Indeed, it requires that exploitation of di fferent modalities does not oppose one another. And it is also desirable to use each channel according to the best of its ability. With this direction in mind, my work started with an analysis of the use of haptics in Exploration of scienti c datasets. I identi ed four fundamental tasks (Select, Locate, Connect and Arrange) for which haptics seems to have advantages over other sensory channels. For each of these tasks, I showed how haptic interaction can contribute to an e ective exploration process through a broad review of the state of the art. Moreover, I highlighted issues related to the tasks identi ed. I thus pointed out the possibility to exploit haptics in order to facilitate selection tasks and showed the need for developing new methods for the following-up of structures of interest (iso-surfaces, streamlines...). I therefore rst studied the use of multimodal non-visual feedbacks for locating and selection of targets in 3D virtual environments. Situations involving one or more targets were explored through di erent interaction paradigms. Doing so, I was able to propose and validate a guideline to the use of audio/haptic feedbacks in location and selection of a given target in an environment containing several others. For such a task, I proved that it was appropriated to use the auditory feedback in order to situate the desired target in the 3D space while haptics would enable the achievement of precise selection. Then, because of advantages related to haptic exploration of structures such as iso-surfaces, I tackled issues related to haptic rendering of datasets presenting high frequency data. To this end, after a review concerning bene ts of using haptic rendering of surfaces in medical and geological domains, I pointed out some needs that can be ful lled by the addition of haptic feedback in the analysis of iso-surfaces resulting from CFD (Computational Fluid Dynamics) simulations. Subsequently, I have proposed and validated, through psychophysical perception experiments and performance measurements, new methods regarding the haptic rendering of isosurfaces without any intermediate polygonal representation. Finally, I applied this new vision concerning Exploration of scienti c datasets to the analysis of an open-cavity ow simulation. I thus proposed two multimodal methods dedicated to the exploration of a dataset resulting from a CFD simulation, using the generic approaches developed previously. The first one concerns an interactive analysis of the geometry of the flow, while the second refers to a multi-sensory analysis of the topology of the flow. Initial evaluations indicated that the proposed methods tended to foster a better understanding of the analyzed phenomenon and could reduce the cognitive load usually required by such a task. As a conclusion, I would like to emphasize that my work opens the way for number of research perspectives in the short and medium terms. In a near future, it would be necessary to complete the earlier work on the dynamic aspect of the cavity flow. To this, several multimodal interactions are required in order to investigate trades and re-circulations that may exist between and within di erent parts of this cavity. Moreover, in the long term, beyond the work related to the CFD eld, the experience gained through this multidisciplinary work (Computer Science, Fluid Dynamics and Cognitive Ergonomics), I plan to address the exploration of datasets resulting from meteorological, medical or geological domains.
Par l'exploitation de nos capacités visuelles, la visualisation scienti que entend proposer aux ingénieurs et aux chercheurs un outil visant à les assister dans l'acquisition de connaissance à partir de phénomènes complexes. Ce travail de thèse s'inscrit dans cette lignée, à ceci près qu'il s'intéresse plutôt à l'utilisation des technologies de la Réalité Virtuelle dans le but d'amener un utilisateur expert au coeur du processus d'exploration et d'analyse des données, ce que nous appelons Exploration de données scienti fiques. Dans le but d'arriver à des processus d'exploration efficaces, notre recherche s'est portée sur la mise en place de techniques d'interactions intuitives, susceptibles d'exploiter au mieux les capacités sensorimotrices de l'être humain. Pour atteindre cet objectif, deux conditions nous paraissent être essentielles. D'une part, il faut que les informations transmises via différents canaux sensorimoteurs aient une certaine cohérence à être délivrées ensemble : il est primordial que l'exploitation d'un canal pour véhiculer une information ne soit pas en concurrence avec ce qui est fait sur un autre canal. D'autre part, il est souhaitable que le potentiel de chaque canal soit utilisé au meilleur de sa capacité. Dans ce contexte, ce travail a débuté par une analyse de l'utilisation de l'haptique dans l'Exploration de données scientifi ques. Pour ce type d'usage, il a été identifié quatre tâches fondamentales (Sélectionner, Localiser, Relier et Arranger) pour lesquelles l'haptique semble présenter un réel avantage par rapport aux autres canaux sensoriels. Pour chacune de ces tâches, nous avons montré, au travers d'une large étude bibliographique, comment l'interaction haptique pouvait être exploitée afi n d'off rir des méthodes d'exploration efficaces. Sur la base de cette analyse organisée autour de ces quatre catégories, nous avons ensuite mis en évidence les problématiques liées aux tâches identifiées. Ainsi, nous avons souligné, d'une part que l'haptique pouvait faciliter la sélection de données scienti fiques dans des contextes où celles-ci sont massives, et d'autre part nous avons montré le besoin de mettre en place de nouvelles méthodes de suivi de structures d'intérêts (iso-surfaces, lignes de courant etc.). Notre problématique ayant ainsi été posée, nous avons d'une part étudié l'utilisation de retour multimodaux non visuels pour la recherche et la sélection de cibles dans un environnent virtuel 3d. Les situations impliquant une ou plusieurs cibles furent analysées, et plusieurs paradigmes d'interaction ont été proposés. Dans cet ordre d'idées, nous sommes arrivés à défi nir et valider un principe directeur pour l'usage de retours haptico-sonores pour la recherche et la sélection d'une cible donn ée située dans une scène 3d pouvant en contenir plusieurs autres. Nous avons en eff et montré que, pour une telle tâche, il était préférable d'exploiter la spatialisation sonore a n de localiser la cible désirée dans l'espace, tandis que le retour haptique permettait une sélection précise de la cible. D'autre part, nous nous sommes attaqués aux problèmes liés au rendu haptique d'ensembles de données pouvant présenter de fortes variations. A cet eff et, suite à un rappel de l'apport de l'haptique pour le rendu de surfaces dans le domaine médical, nous avons analysé certains besoins pouvant être comblés par l'ajout de ce canal sensorimoteur dans l'analyse d'iso-surfaces issues de simulation de Mécanique des Fluides Numérique (MFN). Par la suite nous avons proposé et évalué, par l'intermédiaire d'expériences de perception et de mesures de performance, de nouvelles méthodes de rendu haptique d'iso-surfaces dont l'une des originalités est de pouvoir se passer d'une représentation polygonale intermédiaire. En fin, nous avons appliquécette nouvelle approche d'exploration de données scientifi ques à l'analyse des résultats d'une simulation d'un écoulement dans une cavité ouverte. Ainsi, nous avons proposé deux méthodes d'analyse multi-sensorielle, dédiées à l'exploration d'un ensemble de données issu d'une simulation de MFN, en exploitant les approches génériques développées précédemment. La première méthode concerne une analyse interactive de la géométrie de l'écoulement, alors que la seconde se rapporte à une analyse multi-sensorielle de la topologie de l'écoulement. Les premières évaluations menées ont indiqué que les méthodes proposées tendaient à favoriser une meilleure compréhension du phénomène analysé et qu'elles pouvaient diminuer la charge cognitive habituellement requise par une telle tâche. A titre de conclusion, soulignons que cette thèse de doctorat ouvre la voie à un certain nombre de perspectives de recherches. A court terme, il s'agit de compléter les travaux relatifs à l'analyse de l'aspect dynamique de la simulation d'un écoulement dans une cavité ouverte. Ces travaux consisteront à proposer et valider différentes interactions multimodales visant à examiner les échanges/recirculations pouvant exister entre/dans les parties de la dite cavité. Mais au-delà des travaux relatifs à la MFN, l'expérience acquise à travers ces travaux pluridisciplinaires (informatique, mécanique des fluides, ergonomie cognitive) me permettra à moyen terme d'élargir mes travaux de recherche à l'exploration de données médicales, météorologiques, ou géologiques.
Loading...