Skip to Main content Skip to Navigation
Theses

Weight parameterizations in deep neural networks

Résumé : Les réseaux de neurones multicouches ont été proposés pour la première fois il y a plus de trois décennies, et diverses architectures et paramétrages ont été explorés depuis. Récemment, les unités de traitement graphique ont permis une formation très efficace sur les réseaux neuronaux et ont permis de former des réseaux beaucoup plus grands sur des ensembles de données plus importants, ce qui a considérablement amélioré le rendement dans diverses tâches d'apprentissage supervisé. Cependant, la généralisation est encore loin du niveau humain, et il est difficile de comprendre sur quoi sont basées les décisions prises. Pour améliorer la généralisation et la compréhension, nous réexaminons les problèmes de paramétrage du poids dans les réseaux neuronaux profonds. Nous identifions les problèmes les plus importants, à notre avis, dans les architectures modernes : la profondeur du réseau, l'efficacité des paramètres et l'apprentissage de tâches multiples en même temps, et nous essayons de les aborder dans cette thèse. Nous commençons par l'un des problèmes fondamentaux de la vision par ordinateur, le patch matching, et proposons d'utiliser des réseaux neuronaux convolutifs de différentes architectures pour le résoudre, au lieu de descripteurs manuels. Ensuite, nous abordons la tâche de détection d'objets, où un réseau devrait apprendre simultanément à prédire à la fois la classe de l'objet et l'emplacement. Dans les deux tâches, nous constatons que le nombre de paramètres dans le réseau est le principal facteur déterminant sa performance, et nous explorons ce phénomène dans les réseaux résiduels. Nos résultats montrent que leur motivation initiale, la formation de réseaux plus profonds pour de meilleures représentations, ne tient pas entièrement, et des réseaux plus larges avec moins de couches peuvent être aussi efficaces que des réseaux plus profonds avec le même nombre de paramètres. Dans l'ensemble, nous présentons une étude approfondie sur les architectures et les paramétrages de poids, ainsi que sur les moyens de transférer les connaissances entre elles
Complete list of metadatas

Cited literature [172 references]  Display  Hide  Download

https://tel.archives-ouvertes.fr/tel-02084044
Contributor : Abes Star :  Contact
Submitted on : Friday, March 29, 2019 - 12:54:22 PM
Last modification on : Wednesday, February 26, 2020 - 7:06:07 PM
Document(s) archivé(s) le : Sunday, June 30, 2019 - 2:36:57 PM

File

TH2018PESC1129.pdf
Version validated by the jury (STAR)

Identifiers

  • HAL Id : tel-02084044, version 1

Collections

Citation

Sergey Zagoruyko. Weight parameterizations in deep neural networks. Neural and Evolutionary Computing [cs.NE]. Université Paris-Est, 2018. English. ⟨NNT : 2018PESC1129⟩. ⟨tel-02084044⟩

Share

Metrics

Record views

245

Files downloads

561