Revealing Interactions : Expression and Exploration in Mixed and Virtual Reality

Interactions Révélées : Expression et Exploration en Réalité Mixte et Virtuelle

Florent Berthaut (1, 2)

1 CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189
2 IRCICA - Institut de Recherche sur les Composants logiciels et matériels pour l'Information et la Communication Avancé - UAR 3380

Artistic and cultural productions have often followed or even inspired the development of immersive technologies. They have for instance greatly benefited from the generalisation of mixed and virtual reality headsets, mobile augmented reality or projection mapping software that happened in the past two decades. By freely integrating virtual elements within the physical space, these technologies allow for enriching the perception and interactions of artists, ensembles and audiences. My research lies at the intersection of 3D Interaction in Mixed and Virtual Reality and of Artistic, in particular Musical, Expression and Cultural Applications. Part of this research uses mixed-reality displays to reveal the mechanisms of complex or unfamiliar expressive interactions to spectators and collaborators of musical performances, with the goal of understanding and augmenting their experience. The other part investigates opportunities that arise for expression and cultural content exploration when virtual elements are revealed in the physical space, with the development of novel display technologies, interaction devices and techniques. Perspectives of this research include an in-depth study of the perception of digital interactions by the audience, the generalisation of levels-of-detail in the design of expressive interfaces, and the shift towards 3D interfaces that are less centered on technology and more on human expression.

La production artistique et culturelle a souvent suivi ou même inspiré le développement de technologies immersives. Elle a ainsi fortement bénéficié de la généralisation des casques de réalité mixte et virtuelle, de la réalité augmentée mobile ou des logiciels de mapping vidéo lors des deux dernières décennies. En intégrant librement des éléments virtuels dans l'espace physique, ces technologies permettent d'enrichir la perception et les interactions des artistes, des collectifs et des spectateurs. Ma recherche se situe à l'intersection de l'Interaction 3D en Réalité Mixte et Virtuelle et des Interfaces pour l'Expression Artistique, en particulier Musicale, et la Médiation Culturelle. Une partie de ces travaux se concentre sur l'utilisation de la réalité mixte pour révéler les mécanismes des interactions expressives complexes ou non familières aux spectateurs et collaborateurs, avec l'objectif de comprendre et d'enrichir leur expérience. L'autre partie montre quelles opportunités émergent pour l'expression et l'exploration de contenus culturels, lorsque des éléments virtuels sont révélés dans l'espace physique, avec le développement de nouvelles technologies d'affichage ainsi que de techniques et dispositifs d'interaction. Les perspectives de ces travaux incluent une étude approfondie de la perception des interactions numériques par les spectateurs, une généralisation des niveaux de détails dans la conception d'interfaces expressives, et le basculement vers des interfaces 3D moins centrées sur la technologie et plus sur l'expression humaine.

Mots clés: extended reality; new interfaces for musical expression; art; virtual reality; mixed-reality; music computing

Mots clés: réalité étendue; nouvelles interfaces pour l'expression musicale; réalité virtuelle; réalité mixte

Domaines: Synthèse d'image et réalité virtuelle [cs.GR]

Florent Berthaut. Revealing Interactions : Expression and Exploration in Mixed and Virtual Reality. Graphics [cs.GR]. Université de Lille, 2023. ⟨tel-04425551⟩