Wearable sound : integrative design for hearing and feeling vibrations
Le son portable : le design intégratif pour écouter et ressentir les vibrations
Résumé
Apart from connecting us to our sensory environment, our skin and ears share the unique ability to detect and appreciate vibrations. A single stimulus can simultaneously excite both the inner ear and the surface of the skin, through bone conduction and vibrotactile sensation. Bone conduction propagates sound waves to the inner ear by traveling inside the body, along musculoskeletal structures and through bones, soft tissue and fluids. In our research, we referred to this manner of sound perception as extra-tympanic conduction: any auditory perception that does not depend on air-conducted sound waves. To elicit extra-tympanic sound perception, it is necessary to create contact between the skin and the source of vibration, which causes vibrotactile sensation within a specific frequency range. Assuming that it is not limited to the skull, we wondered how different points of stimulation on the torso (spine, clavicles, sternum, ribs) might influence the auditory, and mixed audio-tactile, perception of vibration. We first explored this by evaluating auditory detection thresholds of vibratory stimuli, and found that they depend on three signal parameters: frequency, intensity, and position on the body. This rather anatomical description of our research may feel slightly impersonal - why did we study this specific type of audio-tactile sensation, if not to learn more about its perceptual nuances? This experimental foundation ultimately served to support our design research methods, employed in order to build and study a novel wearable audio-tactile device: the multimodal harness. The device embodies an alternative listening experience, and challenges assumptions about which parts of the body can ‘hear’. We developed a multidisciplinary approach to design research which we define as integrative, where diverse project elements each contribute to a cohesive whole. They correspond to methodologies and contributions from the sciences of perception (psychophysical, multimodal...) and design research (product, speculative, wearable...). Using the multimodal harness as a tool for creative exploration, we studied how the interaction between hearing and touch may inform how to compose spatialized vibrations for the surface and interior of the body. We also used it in two scientific experiments, which studied the perceived alignment between musical audio-tactile stimuli, and the ‘bimodal’ zone where auditory and tactile sensitivities overlap. The theoretical, experimental and creative outcomes, or products, generated by the multimodal harness carry variations of a central narrative, telling the story that the experience of sound is about the experience of vibrations - something that everybody can perceive, and appreciate in their own way. Together, they shed light on the possibility for a novel, alternative sensory experience of sound, independent of one’s capacity to hear.
Au delà de nous lier à notre environnement sensoriel, notre peau et nos oreilles partagent une capacité unique : celle de détecter et d'apprécier les vibrations. Un même stimulus peut exciter simultanément l'oreille interne et la surface de la peau, par conduction osseuse et par sensation vibrotactile. La conduction osseuse propage les ondes sonores vers l'oreille interne en se déplaçant à l'intérieur du corps, le long des structures musculosquelettiques, à travers les os, les tissus mous et les fluides. Dans notre recherche, nous avons défini ce mode de perception du son comme “conduction extra-tympanique" : toute perception auditive qui ne dépend pas des ondes sonores propagées dans l'air. Pour activer la perception sonore extra-tympanique, il est nécessaire de créer un contact entre la peau et la source vibratoire, ce qui provoque une sensation vibrotactile dans une gamme de fréquences spécifique. En supposant qu'elle ne se limite pas au crâne, nous nous sommes demandés comment différents points de stimulation sur le torse (colonne vertébrale, clavicules, sternum, côtes) pouvaient influencer la perception auditive, et audio-tactile mixte, de la vibration. Nous avons d'abord exploré cette question en évaluant les seuils de détection auditive des stimuli vibratoires, et nous avons constaté qu'ils dépendent de trois paramètres du signal : la fréquence, l'intensité et la position sur le corps. Cette description plutôt anatomique de notre recherche peut sembler légèrement impersonnelle - pourquoi avons-nous étudié ces sensations audio-tactiles, si ce n’était pour en apprendre davantage sur leurs nuances perceptives ? Cette base expérimentale a servi de socle pour nos méthodes de recherche en design, employées pour construire et étudier un nouveau dispositif audio-tactile portable : le harnais multimodal. Ce dispositif est l’incarnation d’une expérience d'écoute alternative et remet en question les préconceptions sur les parties du corps capables d’‘entendre’. Nous avons développé une approche multidisciplinaire de la recherche en conception que nous définissons comme intégrative, où divers éléments du projet contribuent chacun à un ensemble cohésif. Ces éléments participent des méthodologies et contributions des sciences de la perception (psychophysiques, multimodales...) et de la recherche en design (produit, spéculatif, portable...). En utilisant le harnais multimodal comme outil d'exploration créative, nous avons étudié comment l'interaction entre l'ouïe et le toucher peut informer sur la manière de composer des vibrations spatialisées pour la surface et l'intérieur du corps. Nous l’avons également utilisé pour deux expériences scientifiques, dans le but d’étudier l'alignement perçu entre les stimuli musicaux audio-tactiles, et la zone "bimodale" où les sensibilités auditives et tactiles se chevauchent. Chacun des résultats générés par le harnais multimodal apporte une contribution à la narration au cœur du projet : l'expérience du son est une expérience de vibrations - quelque chose que chacun peut percevoir et apprécier à sa manière. Ensemble, ils mettent en lumière la possibilité d'une expérience sonore alternative, indépendante des facultés auditives.
Origine : Version validée par le jury (STAR)