Skip to Main content Skip to Navigation
Theses

Regularization schemes for transfer learning with convolutional networks

Résumé : L’apprentissage par transfert de réseaux profonds réduit considérablement les coûts en temps de calcul et en données du processus d’entraînement des réseaux et améliore largement les performances de la tâche cible par rapport à l’apprentissage à partir de zéro. Cependant, l’apprentissage par transfert d’un réseau profond peut provoquer un oubli des connaissances acquises lors de l’apprentissage de la tâche source. Puisque l’efficacité de l’apprentissage par transfert vient des connaissances acquises sur la tâche source, ces connaissances doivent être préservées pendant le transfert. Cette thèse résout ce problème d’oubli en proposant deux schémas de régularisation préservant les connaissances pendant l’apprentissage par transfert. Nous examinons d’abord plusieurs formes de régularisation des paramètres qui favorisent toutes explicitement la similarité de la solution finale avec le modèle initial, par exemple, L1, L2, et Group-Lasso. Nous proposons également les variantes qui utilisent l’information de Fisher comme métrique pour mesurer l’importance des paramètres. Nous validons ces approches de régularisation des paramètres sur différentes tâches de segmentation sémantique d’image ou de calcul de flot optique. Le second schéma de régularisation est basé sur la théorie du transport optimal qui permet d’estimer la dissimilarité entre deux distributions. Nous nous appuyons sur la théorie du transport optimal pour pénaliser les déviations des représentations de haut niveau entre la tâche source et la tâche cible, avec le même objectif de préserver les connaissances pendant l’apprentissage par transfert. Au prix d’une légère augmentation du temps de calcul pendant l’apprentissage, cette nouvelle approche de régularisation améliore les performances des tâches cibles et offre une plus grande précision dans les tâches de classification d’images par rapport aux approches de régularisation des paramètres.
Complete list of metadatas

Cited literature [162 references]  Display  Hide  Download

https://tel.archives-ouvertes.fr/tel-02439193
Contributor : Abes Star :  Contact
Submitted on : Tuesday, January 14, 2020 - 3:02:13 PM
Last modification on : Wednesday, January 15, 2020 - 9:45:07 AM
Document(s) archivé(s) le : Wednesday, April 15, 2020 - 7:24:59 PM

File

These_UTC_Xuhong_Li.pdf
Version validated by the jury (STAR)

Identifiers

  • HAL Id : tel-02439193, version 1

Collections

Citation

Xuhong Li. Regularization schemes for transfer learning with convolutional networks. Technology for Human Learning. Université de Technologie de Compiègne, 2019. English. ⟨NNT : 2019COMP2497⟩. ⟨tel-02439193⟩

Share

Metrics

Record views

140

Files downloads

206