Skip to Main content Skip to Navigation
Theses

Efficient Sequential Learning in Structured and Constrained Environments

Daniele Calandriello 1
1 SEQUEL - Sequential Learning
Inria Lille - Nord Europe, CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille (CRIStAL) - UMR 9189
Résumé : L’avantage principal des méthodes d’apprentissage non-paramétriques réside dans le fait que la nombre de degrés de libertés du modèle appris s’adapte automatiquement au nombre d’échantillons. Ces méthodes sont cependant limitées par le "fléau de la kernelisation": apprendre le modèle requière dans un premier temps de construire une matrice de similitude entre tous les échantillons. La complexité est alors quadratique en temps et espace, ce qui s’avère rapidement trop coûteux pour les jeux de données de grande dimension. Cependant, la dimension "effective" d’un jeu de donnée est bien souvent beaucoup plus petite que le nombre d’échantillons lui-même. Il est alors possible de substituer le jeu de donnée réel par un jeu de données de taille réduite (appelé "dictionnaire") composé exclusivement d’échantillons informatifs. Malheureusement, les méthodes avec garanties théoriques utilisant des dictionnaires comme "Ridge Leverage Score" (RLS) ont aussi une complexité quadratique. Dans cette thèse nous présentons une nouvelle méthode d’échantillonage RLS qui met à jour le dictionnaire séquentiellement en ne comparant chaque nouvel échantillon qu’avec le dictionnaire actuel, et non avec l’ensemble des échantillons passés. Nous montrons que la taille de tous les dictionnaires ainsi construits est de l’ordre de la dimension effective du jeu de données final, guarantissant ainsi une complexité en temps et espace à chaque étape indépendante du nombre total d’échantillons. Cette méthode présente l’avantage de pouvoir être parallélisée. Enfin, nous montrons que de nombreux problèmes d’apprentissage non-paramétriques peuvent être résolus de manière approchée grâce à notre méthode.
Complete list of metadatas

https://tel.archives-ouvertes.fr/tel-01816904
Contributor : Daniele Calandriello <>
Submitted on : Friday, June 15, 2018 - 7:42:45 PM
Last modification on : Friday, May 17, 2019 - 11:40:56 AM
Document(s) archivé(s) le : Monday, September 17, 2018 - 10:41:24 AM

File

main.pdf
Files produced by the author(s)

Identifiers

  • HAL Id : tel-01816904, version 1

Citation

Daniele Calandriello. Efficient Sequential Learning in Structured and Constrained Environments. Machine Learning [cs.LG]. Inria Lille Nord Europe - Laboratoire CRIStAL - Université de Lille, 2017. English. ⟨tel-01816904⟩

Share

Metrics

Record views

356

Files downloads

581