Development of navigation techniques in virtual immersion
Développement de techniques de navigation en immersion virtuelle
Résumé
Virtual reality is witnessing great interest for a couple of years, thanks to the availability on the market of more and more accessible technologies (head-mounted displays, development tools). This rise is materialized by more and more applications in various fields, from industry to education, through healthcare, cultural heritage or driving simulation, with tangible benefits for users.
This enthusiasm for these technologies is however curbed by major scientific issues that are still being the object of intensive research. On one hand, it is well known that virtual immersion is prone to a characteristic sickness, called cybersickness, especially while navigating. On the other hand, the specificity of virtual reality being to allow interaction between users and virtual environments, interaction devices and methods must be developed; however these are often complex for novice users. Last, though virtual reality is supposed to be user-centered, interaction methods are
developed to be used uniformly, whatever the user, his/her profile, his/her own specificities.
This manuscript presents research work done since 2011 to address these issues. The main goal of my work is to propose innovative approaches to interact, and specifically navigate, within virtual environments in an affordant and ergonomic way while considering their influence on users, with the aim to tend toward customizing interaction and more generally virtual reality, which is necessary for a better diffusion of these technologies.
To fulfill this goal, I first present in this manuscript studies that we performed on human factors occuring during a navigation task : distance perception, transfer of an experience between virtual reality facilities. We then focused on cybersickness : we studied different metrics to estimate cybersickness and proposed means to predict its occurrence. I present then several navigation methods that we proposed following these studies taking into account intuitivity and cybersickness reduction constraints : we considered natural methods, artificial or computer-based methods and a method that is qualified as semi-automatic. The contribution of multi-sensory feedback is also exposed, through the development of a hands-on interaction device and an industrial use-case. Finally I present a first approach of adaptation of navigation methods to users, as a first step toward advanced customized and smart virtual reality.
I conclude the manuscript by drawing four research perspective axes that are : (i) to propose a navigation mode in which the notion of avatar is redefined to become a partially autonomous entity and thus become a virtual companion that helps the user navigating in the virtual environment (collaborative navigation), (ii) to deepen the integration of multi-sensory feedback by exploring most of the human senses (haptic/vestibular feedback, auditory and olfactory feedback), (iii) to apply the research work to driving simulation (especially of autonomous vehicles), the latter being closely linked to virtual reality in terms of scientific issues, and (iv) to consider, on a much more exploratory basis, an interaction mode called subconscious in which brain signals are analyzed to determine the way to activate the same cerebral zones in virtual immersion as in dreams (which would allow for example to get rid of cybersickness issues).
La réalité virtuelle connaît un essor important depuis plusieurs années grâce à l’arrivée sur le marché de dispositifs de plus en plus accessibles (casques de réalité virtuelle, outils de développement). Cet essor se traduit par des applications de plus en plus nombreuses dans des domaines variés, allant de l’industrie à l’éducation, en passant par la santé, le patrimoine ou encore la simulation de conduite, avec des bénéfices tangibles pour les utilisateurs.
Cet engouement pour ces technologies est cependant freiné par des verrous scientifiques importants et qui font toujours l’objet de recherches intenses. D’une part, il est bien connu que l’immersion dans un environnement virtuel induit un mal-être caractéristique appelé cybermalaise, et à plus forte raison lors d’une tâche de navigation. D’autre part, la spécificité de la réalité virtuelle étant de permettre une interaction entre l’utilisateur et l’environnement virtuel, des interfaces et des méthodes d’interaction doivent être développées; or celles-ci s’avèrent difficiles à appréhender pour un utilisateur non averti. Enfin, bien que la réalité virtuelle est sensée être centrée sur l’utilisateur, les méthodes d’interaction sont développées pour être uniformes, quel que soit l’utilisateur, son profil, ses caractéristiques propres.
Ce manuscrit présente les travaux de recherche effectués depuis 2011 pour traiter ces problématiques. L’objectif principal de mes travaux est de proposer des approches innovantes pour interagir, et plus spécifiquement naviguer, en environnement virtuel de manière affordante et ergonomique tout en considérant leur influence sur l’utilisateur, pour tendre vers une personnalisation de l’interaction et plus généralement de la réalité virtuelle, nécessaire pour une meilleure diffusion de ces technologies.
Pour répondre à cet objectif, je présente d’abord dans ce manuscrit les études que nous avons réalisées sur les facteurs humains intervenant lors d’une tâche de navigation : perception des distances, transfert d’une expérience entre dispositifs de réalité virtuelle. Nous nous sommes ensuite davantage intéressés au cybermalaise : nous avons étudié différentes métriques permettant d’estimer le cybermalaise et proposé des moyens pour prédire son occurrence. Je présente ensuite plusieurs méthodes de navigation que nous avons proposées à partir de ces informations prenant en compte les contraintes d’intuitivité et de réduction du cybermalaise : nous avons considéré
des méthodes naturelles, des méthodes artificielles ou informatiques et une méthode qualifiée de semi-automatique. L’apport de la multi-sensorialité est également exposée, à travers le développement d’un dispositif d’interaction à main nue et d’un cas d’usage industriel. Je présente enfin une première approche d’adaptation des méthodes de navigation à l’utilisateur, prélude à une personnalisation poussée et à une intelligence de la réalité virtuelle.
Je conclus le manuscrit en proposant quatre axes de perspectives de recherche qui sont : (i) de proposer un mode de navigation dans lequel la notion d’avatar est redéfinie pour devenir une entité partiellement autonome et devenir de fait un compagnon virtuel de l’utilisateur pour l’aider à naviguer en environnement virtuel (navigation collaborative), (ii) d’approfondir l’intégration de la multi-sensorialité dans l’interaction en explorant la plupart des sens humains (retour haptique/vestibulaire, retour auditif et olfactif), (iii) d’appliquer les travaux effectués à la simulation de conduite (en particulier de véhicules autonomes), cette dernière étant très liée à la réalité virtuelle en termes de verrous scientifiques, et (iv) d’envisager, de manière beaucoup plus exploratoire, un mode d’interaction dit subconscient dans lequel les signaux cérébraux sont analysés pour déterminer la manière d’activer en immersion virtuelle les mêmes zones cérébrales que dans un rêve (ce qui permettrait par exemple de s’affranchir des problématiques de cybermalaise).
Origine : Fichiers produits par l'(les) auteur(s)
