Bayesian modeling of joint development of perception, action and phonology
Modélisation bayésienne du développement conjoint de la perception, l'action et la phonologie
Résumé
Phonetic units can be associated with both auditory and motor representations. In this thesis, we study the development of this double representation and its consequences, mainly in speech perception. We address this set of issues by performing computer simulations with a Bayesian model of communication, named COSMO (“Communicating Objects using Sensory-Motor Operations”). We examine with the model their acquisition, in auditory and motor learning. Simulations suggest that auditory representations are acquired quickly, are based on exogenous processes and are better suited to characterize vowels. On the other hand, motor representations appear to be acquired more slowly, seem to be based on endogenous processes and are better suited to characterize consonants.We observe three consequences of these differences of learning. First, these differences lead to a complementarity during speech perception : auditory representations would be optimally tuned to recognize nominal stimuli, whereas motor representations would have generalization properties and would be able to deal with stimuli typical of adverse conditions.We call this the “auditory-narrow/motor-wide” property. Then, these differences are helpful to better understand the acquisition of variability between representations from one person to another, which is called idiosyncrasies. Simulations suggest that motor representations are acquired thanks to a communicative process rather than a pure sound imitation process. Finally, these differences are used to investigate the development of phonetic units. We show that communication between two agents can occur even if they have different internal representations, and we propose a variant of the model, called COSMO SylPhon, for comparing phoneme and syllable development. Through these three axes, we implemented different versions of the COSMO model based on data from the literature, and discuss them in light of our simulations.
Les unités phonétiques peuvent être associées à des représentations auditives et motrices. Dans cette thèse, nous étudions le développement de cette double représentation et ses conséquences, principalement durant la perception. Nous abordons ces questions à l’aide de simulations informatiques réalisées à l’aide d’un modèle bayésien de la communication, nommé COSMO (“Communicating Objects using Sensory-Motor Operations”). Nous analysons dans ce modèle les processus d’apprentissage auditif et moteur. A la lumière des simulations, il apparaît que les représentations auditives sont acquises rapidement, sont basées sur des processus exogènes et caractérisent mieux les voyelles. Par contraste, les représentations motrices sont acquises plus lentement, sont basées sur des processus endogènes et caractérisent mieux les consonnes. Nous observons trois conséquences issues de ces différences d’apprentissage. D’abord, elles permettent de mettre en avant l’existence possible de deux voies complémentaires durant la perception : les représentations auditives seraient ajustées de manière optimale pour reconnaître les stimuli standards, tandis que les représentations motrices traiteraient mieux les stimuli inhabituels, dans des conditions de communication « adverses ». Nous appelons ceci la propriété « auditif-bande étroite/moteur-bande large ». Ensuite, ces différences servent à mieux comprendre comment apparaît la variabilité interpersonnelle, ce qui est nommé idiosyncrasies. Les simulations suggèrent que les représentations motrices sont acquises à l’aide d’un processus communicatif plutôt que par un processus purement imitatif. Finalement, ces différences d’apprentissage sont utilisées pour étudier plus spécifiquement le développement des unités phonétiques. Nous montrons que la communication peut s’effectuer même lorsque les deux interlocuteurs possèdent des représentations internes différentes, et nous proposons une version du modèle, intitulée COSMO SylPhon, permettant de mettre en correspondance les développements des syllabes et le développement des phonèmes. A travers ces trois axes, nous avons implémenté différentes versions de notre modèle COSMO en nous basant sur les données de la littérature, et en les discutant en retour à la lumière des simulations.
Origine : Fichiers produits par l'(les) auteur(s)