Continuous auditory feedback for sensorimotor learning
Retour sonore continu pour l'apprentissage sensorimoteur
Résumé
Our sensorimotor system has developed a strong relationship with the auditory space surrounding us. We have implicitly learned to integrate the sonic outcomes of our actions and use them everyday as auditory feedback. The development of motion sensing and audio technologies allows for designing auditory feedback, by creating specific interaction between sound and motion. In this PhD research, we focus on continuous movement sonification, the generation of synchronous sound feedback controlled by movement or action features.
Auditory feedback in the action-perception loop has received considerably less attention compared to visual feedback. Moreover, the learning mechanisms occurring in interactive systems using sound feedback, such as digital musical interfaces, have been rarely studied. In this thesis, we evaluate the contribution of continuous auditory feedback to sensorimotor control and learning in interactive systems. To fulfill this aim, we consider various sonic interaction setups (visual/non- visual, tangible/virtual), that we use in five experimental studies, targeting the questions of how the feedback can be integrated and which gesture-sound parameters are relevant to learning. First, considering a pointing task, we observe that the auditory system integrates dynamic auditory cues for online motor control. Auditory representations of space and of the scene can be built from audio features and transformed into motor commands. Second, during the exploration of a virtual object solely through sound, we observe that the emerging auditory-motor representations can also shape exploratory movements and allow for tactile to auditory sensory substitution.
Third, we measure that continuous auditory feedback in a tracking task helps significantly the performance. Both error and task sonification improve tracking but have different effects on learning. The sonification of the user’s movement can increase the energy of the produced motion and prevent feedback dependency. We also tested a system enabling the sonification of eye tracking movements. The auditory feedback had important effects on eye movements control, both positively and negatively across the participants, during both guided and free pursuit.
Finally, we present the concept of sound-oriented task, where the target is expressed as acoustic features to match. We show that users can achieve this auditory task with various responsiveness to the system, and that motor adaptation can be driven by interactive audio cues only. This context illustrates the potential of placing the sound at the core of the interaction task for integration in the sensorimotor loop.
Globally, our results show the benefits of continuous movement sonification for motor learning, specifically on gestural features, performance and energy. We can derive design principles from our studies, such as the use of ‘ecological’ gesture-sound mapping. In particular, we propose to consider a ‘moving while listening’ approach where the user learns to associate sound features with corresponding movement features. Among the potential applications, we believe this approach can be successfully applied in physical rehabilitation and neurodegenerative diseases.
Notre système sensorimoteur a développé une relation particulière avec son environnement sonore et utilise constamment les conséquences acoustiques de nos actions, que nous percevons comme un retour sonore. Le développement des systèmes de captation gestuelle et des technologies audio permet de manipuler ce retour sonore, notamment en créant une interaction entre le son et le geste, dont le couplage peut alors s’effectuer de nombreuses manières. Dans ce travail de doctorat, nous proposons d'étudier la sonification gestuelle continue, c’est-à-dire la génération d’un retour sonore synchrone durant le geste, dont les paramètres acoustiques dépendent du mouvement produit ou de l’action.
La grande majorité des études sur la boucle perception-action s’est focalisée sur le flux visuel et peu sur l’utilisation d’un retour sonore. En outre, les mécanismes d’apprentissage mis en œuvre dans les systèmes interactifs sonores sont rarement étudiés. Le travail que nous présentons a pour but d'évaluer la contribution d’un retour sonore continu à l’apprentissage et au contrôle moteur dans des systèmes interactifs. Dans cet objectif, nous considérons plusieurs situations interactives sonores (avec ou sans vision, tangible/virtuel), que nous utilisons lors de cinq études expérimentales. Les questions concernent l’identification des mécanismes d’intégration du retour sonore et des paramètres geste-son pertinents pour l’apprentissage.
Premièrement, nous observons lors d’une tâche de pointage que le système auditif intègre en continu des indices acoustiques dynamiques pour le contrôle moteur. Des représentations sonores de l’espace peuvent être construites à partir de ces informations et transformées en commandes motrices permettant de corriger le mouvement. Deuxièmement, dans le cas de l’exploration d’un objet virtuel sonore, nous observons que les représentations audio-motrices émergentes peuvent également influencer des mouvements exploratoires et permettre des cas de substitution sensorielle, notamment un transfert auditif vers des sensations tactiles et proprioceptives.
Troisièmement, nous montrons dans le cas d’une tâche de suivi visuo-manuel qu’un retour sonore continu peut améliorer significativement la performance. Les sonifications apportant un retour relatif à l’erreur de suivi (distance) ainsi qu’à la tâche (comportement de la cible) permettent d’améliorer la qualité du suivi, mais montrent des effets distincts sur l’apprentissage. Nous montrons également que la sonification du mouvement de l’utilisateur peut augmenter l’énergie du geste produit et contribue à un apprentissage robuste, non dépendant du retour sonore additionnel. Nous proposons également un système permettant la sonification en temps-réel des mouvements de poursuite oculaire. La sonification de tels mouvements montre d’importants effets, sur le contrôle oculomoteur (qu’il soit libre ou en suivi guidé), à la fois positifs et négatifs selon les participants.
Enfin, nous présentons le concept de “tâche sonore”, dans lequel la cible est présentée et s’exprime sous forme de paramètres sonores à reproduire. L’expérience montre que les utilisateurs apprennent à effectuer cette tâche, avec toutefois des disparités dans leurs aptitudes. Nous observons également qu’une adaptation motrice peut être induite par des changements dans le mapping geste-son, modifiant l’objectif sonore à atteindre. Ce contexte met en évidence le potentiel de l’information sonore replacée au cœur de l’interaction pour l’intégration dans la boucle sensorimotrice.
Dans leur ensemble, nos résultats montrent les effets bénéfiques de la sonification du mouvement sur l’apprentissage moteur, notamment sur la performance et la dynamique du geste. Il est possible de tirer de nos études des principes de design de l’interaction, comme par exemple l’utilisation de mappings geste-son ‘écologiques’. Nous proposons particulièrement de considérer une approche de “l’écoute du mouvement”, dans laquelle l’utilisateur apprend à associer des indices audio avec les caractéristiques intrinsèques de ses mouvements. Ce type d’interaction permet d’envisager diverses applications dans des cas d’apprentissage moteur. Il semble en effet que cette approche puisse être appliquée avec succès à la rééducation physique de l’hémiparésie ou de maladies neurodégénératives.
