Skip to Main content Skip to Navigation
Theses

Active learning and input space analysis for deep networks

Résumé : Notre travail est présenté en trois parties indépendantes. Tout d'abord, nous proposons trois heuristiques d'apprentissage actif pour les réseaux de neurones profonds : Nous mettons à l'échelle le `query by committee' , qui agrège la décision de sélectionner ou non une donnée par le vote d'un comité. Pour se faire nous formons le comité à l'aide de différents masques de dropout. Un autre travail se base sur la distance des exemples à la marge. Nous proposons d'utiliser les exemples adversaires comme une approximation de la dite distance. Nous démontrons également des bornes de convergence de notre méthode dans le cas de réseaux linéaires. L’usage des exemples adversaires ouvrent des perspectives de transférabilité d’apprentissage actif d’une architecture à une autre. Puis, nous avons formulé une heuristique d'apprentissage actif qui s'adapte tant au CNNs qu'aux RNNs. Notre méthode sélectionne les données qui minimisent l'énergie libre variationnelle. Dans un second temps, nous nous sommes concentrés sur la distance de Wasserstein. Nous projetons les distributions dans un espace où la distance euclidienne mimique la distance de Wasserstein. Pour se faire nous utilisons une architecture siamoise. Également, nous démontrons les propriétés sous-modulaires des prototypes de Wasserstein et comment les appliquer à l'apprentissage actif. Enfin, nous proposons de nouveaux outils de visualisation pour expliquer les prédictions d'un CNN sur du langage naturel. Premièrement, nous détournons une stratégie d'apprentissage actif pour confronter la pertinence des phrases sélectionnées aux techniques de phraséologie les plus récentes. Deuxièmement, nous profitons des algorithmes de déconvolution des CNNs afin de présenter une nouvelle perspective sur l'analyse d'un texte.
Complete list of metadatas

Cited literature [211 references]  Display  Hide  Download

https://tel.archives-ouvertes.fr/tel-02271840
Contributor : Abes Star :  Contact
Submitted on : Tuesday, August 27, 2019 - 11:50:07 AM
Last modification on : Tuesday, May 26, 2020 - 6:50:56 PM

File

2018AZUR4115.pdf
Version validated by the jury (STAR)

Identifiers

  • HAL Id : tel-02271840, version 1

Collections

Citation

Mélanie Ducoffe. Active learning and input space analysis for deep networks. Neural and Evolutionary Computing [cs.NE]. Université Côte d'Azur, 2018. English. ⟨NNT : 2018AZUR4115⟩. ⟨tel-02271840⟩

Share

Metrics

Record views

210

Files downloads

294