Networks of Neural Cliques

Vincent Gripon 1, 2
2 Lab-STICC_TB_CACS_IAS
Lab-STICC - Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance
Résumé : Nous proposons et développons un modèle original de mémoires associatives s'appuyant sur des réseaux de neurones codés. Les mémoires associatives sont des dispositifs capables d'apprendre des messages binaires puis de les reproduire à partir de fractions de leurs contenus. L'état de l'art est le réseau proposé par Hopfield, dont la diversité de mémorisation - le nombre de messages qu'il peut n mémoriser - est inférieure à 2 log(n) où n est le nombre de neurones dans le réseau. Notre travail a consisté à tirer parti des techniques de codage et de déco- dage correcteur d'erreur, plus précisément celle des codes distribués, afin d'ac- croître considérablement les performances des mémoires associatives. Pour ce faire, nous avons introduit des codes originaux dont les mots de code sont portés par des cliques neurales. Nous montrons que, combinées à des codes locaux par- cimonieux, ces cliques neurales offrent une diversité d'apprentissage qui évolue comme le carré du nombre de neurones. Les gains observés viennent de l'utilisation de la parcimonie à plusieurs é- chelles : d'une part les messages appris sont de longueur bien inférieure à n, d'autre part ils n'utilisent qu'une partie du matériel disponible, que ce soit au niveau des neurones ou de leurs connexions. L'apprentissage est donc localisé, au contraire des réseaux de Hopfield. De plus, ces mémoires bénéficient d'une efficacité - rapport du nombre de bits appris au nombre de bits utilisés - presque maximale. Elles se présentent donc comme une alternative intéressante aux mé- moires indexées classiques. Au delà de l'aspect quantitatif, le modèle que nous proposons offre une plau- sibilité biologique fortement accrue par rapport au modèle de Hopfield. Les con- cepts de cliques neurales, de winner take all, ou encore de synchronisation tem- porelle que ce modèle exploite rejoignent les observations récentes rapportées par la littérature neurobiologique. Par ailleurs, elles pourraient ouvrir la voie à la conception de machines cognitives capables de croiser des informations pour en produire de nouvelles car les cliques neurales sont recouvrantes, par leurs som- mets ou par leurs arêtes.
Type de document :
Thèse
Neural and Evolutionary Computing [cs.NE]. Télécom Bretagne, 2011. English


https://tel.archives-ouvertes.fr/tel-00743809
Contributeur : Vincent Gripon <>
Soumis le : samedi 20 octobre 2012 - 19:19:55
Dernière modification le : mercredi 19 octobre 2016 - 13:46:32
Document(s) archivé(s) le : lundi 21 janvier 2013 - 03:41:10

Identifiants

  • HAL Id : tel-00743809, version 1

Citation

Vincent Gripon. Networks of Neural Cliques. Neural and Evolutionary Computing [cs.NE]. Télécom Bretagne, 2011. English. <tel-00743809>

Exporter

Partager

Métriques

Consultations de
la notice

249

Téléchargements du document

429