Audiovisual interactions in the human auditory cortex: electrophysiological and behavioural approaches
Interactions audiovisuelles dans le cortex auditif chez l'homme : approches électrophysiologique et comportementale.
Résumé
Audiovisual interactions taking place during the perception of audiovisual events were explored in two mainly auditory phenomena: speech perception and representation in auditory sensory memory (ASM), by means of behavioural and electrophysiological measures.
Concerning speech perception, we have shown that seeing lip mouvements can speed up auditory speech processing in a phonological discrimination task in normal hearing conditions. This behavioral facilitation was associated with both an activation of the (mainly secondary) auditory cortices by lip movements, as shown in intracranial ERPs in epileptic patients, and a decrease of auditory activity within 50-200 ms after sound onset, as shown both in intracranial ERPs in patients and surface ERPs in normal subjects. We have also shown that a behavioural facilitation can be observed even if the visual speech cues carry temporal, but no phonetic, information, but only in noisy environments.
Concerning ASM, we have shown that the detection of a rare audiovisual event delivered in a sequence of standard events is faster than that of either visual or auditory events. This facilitation was associated with interactions of the auditory and visual detection processes, based on the existence of auditory and visual sensory memory traces, as indexed by auditory and visual MMNs of the scalp ERPs. We also showed that the representation of an audiovisual event in ASM, as indexed by the auditory MMN, differs from that of its purely auditory component, but only if the unimodal components of this event are regularly associated. However, we failed to show that a representation of such a regularity can trigger an MMN to its violation.
Concerning speech perception, we have shown that seeing lip mouvements can speed up auditory speech processing in a phonological discrimination task in normal hearing conditions. This behavioral facilitation was associated with both an activation of the (mainly secondary) auditory cortices by lip movements, as shown in intracranial ERPs in epileptic patients, and a decrease of auditory activity within 50-200 ms after sound onset, as shown both in intracranial ERPs in patients and surface ERPs in normal subjects. We have also shown that a behavioural facilitation can be observed even if the visual speech cues carry temporal, but no phonetic, information, but only in noisy environments.
Concerning ASM, we have shown that the detection of a rare audiovisual event delivered in a sequence of standard events is faster than that of either visual or auditory events. This facilitation was associated with interactions of the auditory and visual detection processes, based on the existence of auditory and visual sensory memory traces, as indexed by auditory and visual MMNs of the scalp ERPs. We also showed that the representation of an audiovisual event in ASM, as indexed by the auditory MMN, differs from that of its purely auditory component, but only if the unimodal components of this event are regularly associated. However, we failed to show that a representation of such a regularity can trigger an MMN to its violation.
Nous avons étudié, par des mesures comportementales et électrophysiologiques (PE), les interactions audiovisuelles (AV) mises en jeu dans deux types de processus essentiellement auditifs : la perception de la parole, et les représentations en mémoire sensorielle auditive (MSA).
Concernant la parole, nous avons montré que la vision des mouvements labiaux accélère la discrimination phonologique de syllabes. Cette facilitation comportementale était associée à la fois à une activation des cortex auditifs (surtout secondaires) par les mouvements de lèvres, visible sur les PE intracérébraux chez le patient épileptique, et à une diminution de l'activité auditive entre 50 et 200 ms après le début du son, visible à la fois en intracérébral chez le patient et en PE de surface chez le sujet normal. Une autre étude comportementale a montré qu'une facilitation peut aussi être observée si les mouvements labiaux ne fournissent que des informations temporelles et non phonétiques, mais seulement dans le bruit.
Concernant la MSA, on a montré que la détection d'un évènement AV rare dans une suite d'évènements standards est plus rapide que la détection d'un évènement auditif ou visuel. Cette facilitation serait liée à des interactions entre les traces mnésiques auditives et visuelles indexées par les MMN auditives et visuelles des PE. Nous avons aussi montré, par l'analyse de la MMN auditive, que la représentation d'un évènement AV en MSA diffère de celle de sa composante auditive seule, mais seulement si ses composantes unimodales sont régulièrement associées. En revanche, nous avons échoué à montrer que la représentation d'une telle régularité peut générer une MMN lorsqu'elle est violée.
Concernant la parole, nous avons montré que la vision des mouvements labiaux accélère la discrimination phonologique de syllabes. Cette facilitation comportementale était associée à la fois à une activation des cortex auditifs (surtout secondaires) par les mouvements de lèvres, visible sur les PE intracérébraux chez le patient épileptique, et à une diminution de l'activité auditive entre 50 et 200 ms après le début du son, visible à la fois en intracérébral chez le patient et en PE de surface chez le sujet normal. Une autre étude comportementale a montré qu'une facilitation peut aussi être observée si les mouvements labiaux ne fournissent que des informations temporelles et non phonétiques, mais seulement dans le bruit.
Concernant la MSA, on a montré que la détection d'un évènement AV rare dans une suite d'évènements standards est plus rapide que la détection d'un évènement auditif ou visuel. Cette facilitation serait liée à des interactions entre les traces mnésiques auditives et visuelles indexées par les MMN auditives et visuelles des PE. Nous avons aussi montré, par l'analyse de la MMN auditive, que la représentation d'un évènement AV en MSA diffère de celle de sa composante auditive seule, mais seulement si ses composantes unimodales sont régulièrement associées. En revanche, nous avons échoué à montrer que la représentation d'une telle régularité peut générer une MMN lorsqu'elle est violée.