Rapid visual processing in monkeys, humans and machines : a forward-looking view
Traitement visuel rapide de scènes naturelles chez le singe, l'homme et la machine : une vision qui va de l'avant...
Résumé
At the boundary between neuroscience and artificial intelligence, computational neuroscience attempts to understand the tremendous computational capacities of the brain, and especially the high image processing efficacy of the visual system. My work is split into an experimental part and a modeling one. In the experimental part, I assessed the reasons for the speed and accuracy of visual processing. Natural photographs, that could include an animal or not, are flashed very briefly (20-30 ms) to subjects who must respond by releasing a button whenever the image contains an animal. Macaque monkeys perform this task with high accuracy, and although somewhat less accurate than humans, they are considerably faster. Then, I try to constrain the task in order to tackle the role of both the intrinsic properties of images - color, luminance, number of animals, visible parts of their body, species... - and their extrinsic properties - sequence effects, familiarity of images, instructions given to the subjects... Although certain conditions reduce the mean behavioral reaction times (RT), the fastest RTs, and EEG recordings that correspond to image processing, are left unaffected. Moreover, the fastest RTs do not seem to depend on specific images that would have been processed faster. Thus, this argues in favor of a rapid massively parallel visual processing, mainly automatic, where, because of the temporal constraints, each neuron hardly has time to fire more than once. Based on these constraints and those imposed by real neuron behavior, visual system structure and connectivity, I built a neural simulator - SpikeNET - to perform biologically plausible models that goes from basic visual processing (oriented bar selectivity) up to highly sophisticated visual processing (face recognition in natural images). From an image processing approach, the performance of these networks is impressive, especially because they rival with classical artificial intelligence techniques.
À la frontière entre neurosciences et intelligence artificielle, les neurosciences computationnelles tentent de comprendre les formidables capacités de calcul du cerveau, notamment l'efficacité du traitement de l'image par le système visuel. Mon travail est un double travail expérimental et de modélisation. Dans la partie expérimentale, je tente de déterminer les raisons qui font la précision et la rapidité des processus visuels. On présente brièvement (20-30 ms) des photographies contenant ou non des animaux au sujet qui doit relâcher un bouton quand l'image contient un animal. Le singe macaque réalise cette tâche avec une précision légèrement inférieure à celle de l'homme mais avec une plus grande rapidité. Je tente ensuite de contraindre la catégorisation pour déterminer le rôle à la fois des propriétés intrinsèques des images - couleur, luminance, nombre d'animaux présents, parties visibles de leurs corps, espèce de l'animal... - mais aussi de leurs propriétés extrinsèques - condition de présentation, effet de séquence, familiarité du stimulus, consigne... Bien que certaines conditions accélèrent la catégorisation, les réponses les plus précoces (dont on montre qu'elles ne sont pas spécifiques de certaines images), et les enregistrements EEGs correspondant au traitement de l'image ne sont que très peu affectés. Cela implique donc un traitement rapide massivement parallèle - quasiment automatique - des informations visuelles, où chaque neurone du système visuel peut difficilement émettre plus d'une décharge. À partir de ces contraintes, et de celles imposées par la structure du système visuel, j'ai construit un simulateur biologiquement plausible (SpikeNET) qui permet de simuler le comportement des neurones réels (de la détection de barres orientées jusqu'à la reconnaissance de visages). Les performances de ces modèles sont étonnantes du point de vue du traitement d'image et rivalisent avec les approches classiques en intelligence artificielle.