Stochastic approximation and least-squares regression, with applications to machine learning

Nicolas Flammarion 1, 2
2 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Résumé : De multiples problèmes en apprentissage automatique consistent à minimiser une fonction lisse sur un espace euclidien. Pour l’apprentissage supervisé, cela inclut les régressions par moindres carrés et logistique. Si les problèmes de petite taille sont résolus efficacement avec de nombreux algorithmes d’optimisation, les problèmes de grande échelle nécessitent en revanche des méthodes du premier ordre issues de la descente de gradient. Dans ce manuscrit, nous considérons le cas particulier de la perte quadratique. Dans une première partie, nous nous proposons de la minimiser grâce à un oracle stochastique. Dans une seconde partie, nous considérons deux de ses applications à l’apprentissage automatique : au partitionnement de données et à l’estimation sous contrainte de forme. La première contribution est un cadre unifié pour l’optimisation de fonctions quadratiques non-fortement convexes. Celui-ci comprend la descente de gradient accélérée et la descente de gradient moyennée. Ce nouveau cadre suggère un algorithme alternatif qui combine les aspects positifs du moyennage et de l’accélération. La deuxième contribution est d’obtenir le taux optimal d’erreur de prédiction pour la régression par moindres carrés en fonction de la dépendance au bruit du problème et à l’oubli des conditions initiales. Notre nouvel algorithme est issu de la descente de gradient accélérée et moyennée. La troisième contribution traite de la minimisation de fonctions composites, somme de l’espérance de fonctions quadratiques et d’une régularisation convexe. Nous étendons les résultats existants pour les moindres carrés à toute régularisation et aux différentes géométries induites par une divergence de Bregman. Dans une quatrième contribution, nous considérons le problème du partitionnement discriminatif. Nous proposons sa première analyse théorique, une extension parcimonieuse, son extension au cas multi-labels et un nouvel algorithme ayant une meilleure complexité que les méthodes existantes. La dernière contribution de cette thèse considère le problème de la sériation. Nous adoptons une approche statistique où la matrice est observée avec du bruit et nous étudions les taux d’estimation minimax. Nous proposons aussi un estimateur computationellement efficace.
Liste complète des métadonnées

Littérature citée [105 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01693865
Contributeur : Abes Star <>
Soumis le : mercredi 4 juillet 2018 - 17:39:06
Dernière modification le : vendredi 6 juillet 2018 - 01:28:35
Document(s) archivé(s) le : lundi 1 octobre 2018 - 13:21:05

Fichier

Flammarion-2017-These.pdf
Version validée par le jury (STAR)

Identifiants

  • HAL Id : tel-01693865, version 2

Citation

Nicolas Flammarion. Stochastic approximation and least-squares regression, with applications to machine learning. Machine Learning [stat.ML]. PSL Research University, 2017. English. 〈NNT : 2017PSLEE056〉. 〈tel-01693865v2〉

Partager

Métriques

Consultations de la notice

395

Téléchargements de fichiers

245