Software Technologies of Multisensory and Instrumental Modelling, Simulation and Interaction for Creation
Technologies logicielles de la modélisation, de la simulation et de l'interaction multisensorielles instrumentales pour la création
Résumé
The presented works have firstly questioned the possible inter-relations between physics-based modelling and simulation on the one hand, and creation and creativity on the other. More specifically, the possibility and fundamental interests of rooting creative activities onto physics-based modelling have been considered.
This theme was approached from a Computer Sciences perspective, through the invention and the design of a new family of software environments aimed at creation with masses-interactions physics-based networks. In particular: GENESIS for musical creation, and MIMESIS for movement and computer graphics animation.
These software environments empower the artist with innovative and complete creation processes, centred on physical modelling activities.
Each and all of these environments are characterized by a specific “software environment paradigm”: dedicated features, software architecture specificities, adequate and necessary human-computer interaction means (interfaces and languages), and particular usage protocols (in our case: modelling and creative processes).
These elements have been situated in the scientific and technological history of computer creation tools, and in the state of the art of the various concerned scientific domains. This work has in particular led to analysing the properties of masses-interactions physical networks (modularity, generic potential, calculability, usability, …), in relation with other categories of algorithms, models and formalisms used nowadays to address human sensori-motor skills. It also accompanied the demonstration that the building of physical models by an artist can be deeply relevant. This relevance lies in the qualities of the phenomena that are finally generated, but also, which is more original, and probably more essential, in the modelling/creation processes themselves.
Finally, the works have been extended to various other axes: contributions to synchronous real-time simulation architecture and software for multisensory interaction, including force-feedback, sound, and image, by means of physics-based simulation; experimental modelling works; contributions to the evolutions of the formal basis of the physics networks paradigm; contributions to graphical representation of punctual movements, etc.
These past works and the achieved results altogether lead to introduce new research perspectives, which we name software technologies of multisensory instrumental interaction, with, as a far end view, the foundation of a new “science of the multisensory computer” and the possibility of a “multisensory art”.
Les travaux présentés ont été pour l’essentiel traversés par un questionnement sur les relations liant modélisation et simulation physiques et création ou, plus spécifiquement, sur la possibilité et l’intérêt fondamental d’appuyer une activité de création sur la modélisation.
Ce thème a été abordé sous l’angle de l’informatique appliquée (en anglais, les « computer sciences »), au moyen de l’invention et de la réalisation d’une nouvelle famille d’environnements logiciels pour la création avec les réseaux physiques masses-interactions, dont en particulier les modeleurs-simulateurs GENESIS pour la création musicale, puis MIMESIS pour la création du mouvement et l’image animée.
Ces environnements permettent à l’artiste d’organiser des processus de création complets et novateurs, fondés sur l’activité de modélisation physique.
Ils sont chacun, et dans leur ensemble, caractérisés par un paradigme d’environnement logiciel nouveau : des fonctionnalités, des caractéristiques en matière d’architecture logicielle, des ergonomies nécessaires, adéquates et spécifiques, ainsi que des protocoles d’utilisation – ici des processus de modélisation et de création – qui leur sont propres.
Ces propriétés ont été situées dans l’histoire scientifique et technologique des outils de création et dans les états de l’art des communautés scientifiques concernées. Ce travail a notamment donné lieu à une étude des propriétés des réseaux physiques masses-interactions (généricité, modularité, calculabilité, utilisabilité, généralité...) en vis-à-vis des catégories d’algorithmes, modèles et formalismes utilisés pour adresser la sensori-motricité humaine. Il s’est de plus accompagné d’une analyse du fait que l’activité de construction de modèles physiques peut présenter une pertinence profonde pour l’artiste – pertinence qui se joue non seulement dans les qualités des phénomènes générés, mais encore, de façon plus originale et peut-être plus essentielle, dans le processus de modélisation/création lui-même.
Enfin, les travaux se sont étendus à plusieurs autres axes d’études : contributions aux logiciels de simulation temps réel pour l’interaction multisensorielle incluant le retour d’effort, le son et l’image, au moyen de la simulation physique ; travaux expérimentaux en modélisation ; contributions à l’amélioration du cadre formel des réseaux physiques masses-interactions ; contributions aux procédés de mise en forme visuelle de mouvements ponctuels ; travaux de positionnement théorique ; etc.
L’expérience et les résultats acquis conduisent à introduire de nouvelles perspectives de recherche, sous le fil conducteur des technologies logicielles de l’interaction multisensorielle instrumentale, avec en ligne de mire la fondation d’une « science de l’ordinateur multisensoriel » et la possibilité d’un « art multisensoriel ».
Loading...