Efficient Sequential Learning in Structured and Constrained Environments

Daniele Calandriello 1
1 SEQUEL - Sequential Learning
Inria Lille - Nord Europe, CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189
Résumé : L’avantage principal des méthodes d’apprentissage non-paramétriques réside dans le fait que la nombre de degrés de libertés du modèle appris s’adapte automatiquement au nombre d’échantillons. Ces méthodes sont cependant limitées par le "fléau de la kernelisation": apprendre le modèle requière dans un premier temps de construire une matrice de similitude entre tous les échantillons. La complexité est alors quadratique en temps et espace, ce qui s’avère rapidement trop coûteux pour les jeux de données de grande dimension. Cependant, la dimension "effective" d’un jeu de donnée est bien souvent beaucoup plus petite que le nombre d’échantillons lui-même. Il est alors possible de substituer le jeu de donnée réel par un jeu de données de taille réduite (appelé "dictionnaire") composé exclusivement d’échantillons informatifs. Malheureusement, les méthodes avec garanties théoriques utilisant des dictionnaires comme "Ridge Leverage Score" (RLS) ont aussi une complexité quadratique. Dans cette thèse nous présentons une nouvelle méthode d’échantillonage RLS qui met à jour le dictionnaire séquentiellement en ne comparant chaque nouvel échantillon qu’avec le dictionnaire actuel, et non avec l’ensemble des échantillons passés. Nous montrons que la taille de tous les dictionnaires ainsi construits est de l’ordre de la dimension effective du jeu de données final, guarantissant ainsi une complexité en temps et espace à chaque étape indépendante du nombre total d’échantillons. Cette méthode présente l’avantage de pouvoir être parallélisée. Enfin, nous montrons que de nombreux problèmes d’apprentissage non-paramétriques peuvent être résolus de manière approchée grâce à notre méthode.
Type de document :
Thèse
Machine Learning [cs.LG]. Inria Lille Nord Europe - Laboratoire CRIStAL - Université de Lille, 2017. English
Liste complète des métadonnées

https://tel.archives-ouvertes.fr/tel-01816904
Contributeur : Daniele Calandriello <>
Soumis le : vendredi 15 juin 2018 - 19:42:45
Dernière modification le : mercredi 18 juillet 2018 - 11:55:58
Document(s) archivé(s) le : lundi 17 septembre 2018 - 10:41:24

Fichier

main.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-01816904, version 1

Citation

Daniele Calandriello. Efficient Sequential Learning in Structured and Constrained Environments. Machine Learning [cs.LG]. Inria Lille Nord Europe - Laboratoire CRIStAL - Université de Lille, 2017. English. 〈tel-01816904〉

Partager

Métriques

Consultations de la notice

134

Téléchargements de fichiers

60