Stochastic Approximation and Least-Squares Regression, with Applications to Machine Learning

Nicolas Flammarion 1, 2, 3, 4
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Résumé : De multiples problèmes en apprentissage automatique consistent à minimiser une fonction lisse sur un espace euclidien. Pour l’apprentissage supervisé, cela inclut les régressions par moindres carrés et logistique. Si les problèmes de petite taille sont résolus e cacement avec de nombreux algorithmes d’optimisation, les problèmes de grande échelle nécessitent en revanche des méthodes du premier ordre issues de la descente de gradient. Dans ce manuscrit, nous considérons le cas particulier de la perte quadratique. Dans une première partie, nous nous proposons de la minimiser grâce à un oracle stochastique. Dans une seconde partie, nous considérons deux de ses applications à l’apprentissage automatique : au partitionnement de données et à l’estimation sous contrainte de forme. La première contribution est un cadre unifié pour l’optimisation de fonctions quadratiques non-fortement convexes. Celui-ci comprend la descente de gradient accélérée et la descente de gradient moyennée. Ce nouveau cadre suggère un algorithme alternatif qui combine les aspects positifs du moyennage et de l’accélération. La deuxième contribution est d’obtenir le taux optimal d’erreur de prédiction pour la régression par moindres carrés en fonction de la dépendance au bruit du problème et à l’oubli des conditions initiales. Notre nouvel algorithme est issu de la descente de gradient accélérée et moyennée. La troisième contribution traite de la minimisation de fonctions composites, somme de l’espérance de fonc- tions quadratiques et d’une régularisation convexe. Nous étendons les résultats existants pour les moindres car- rés à toute régularisation et aux différentes géométries induites par une divergence de Bregman. Dans une quatrième contribution, nous considérons le problème du partitionnement discriminatif. Nous propo- sons sa première analyse théorique, une extension parcimonieuse, son extension au cas multi-labels et un nouvel algorithme ayant une meilleure complexité que les méthodes existantes. La dernière contribution de cette thèse considère le problème de la sériation. Nous adoptons une approche statistique où la matrice est observée avec du bruit et nous étudions les taux d’estimation minimax. Nous proposons aussi un estimateur computationellement efficace.
Liste complète des métadonnées

Littérature citée [188 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01693865
Contributeur : Nicolas Flammarion <>
Soumis le : vendredi 26 janvier 2018 - 15:42:17
Dernière modification le : samedi 27 janvier 2018 - 01:19:03

Fichier

thesis_main.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-01693865, version 1

Collections

Citation

Nicolas Flammarion. Stochastic Approximation and Least-Squares Regression, with Applications to Machine Learning. Machine Learning [stat.ML]. Ecole normale supérieure - ENS PARIS, 2017. English. 〈tel-01693865〉

Partager

Métriques

Consultations de la notice

93

Téléchargements de fichiers

90