Linear regression and learning : contributions to regularization and aggregation methods

Régression linéaire et apprentissage : contributions aux méthodes de régularisation et d’agrégation

Raphaël Deswarte (1)

1 CMAP - Centre de Mathématiques Appliquées - Ecole Polytechnique

This thesis tackles the topic of linear regression, within several frameworks, mainly linked to statistical learning. The first and second chapters present the context, the results and the mathematical tools of the manuscript. In the third chapter, we provide a way of building an optimal regularization function, improving for instance, in a theoretical way, the LASSO estimator. The fourth chapter presents, in the field of online convex optimization, speed-ups for a recent and promising algorithm, MetaGrad, and shows how to transfer its guarantees from a so-called “online deterministic setting" to a “stochastic batch setting". In the fifth chapter, we introduce a new method to forecast successive intervals by aggregating predictors, without intermediate feedback nor stochastic modeling. The sixth chapter applies several aggregation methods to an oil production dataset, forecasting short-term precise values and long-term intervals.

Cette thèse aborde le sujet de la régression linéaire dans différents cadres, liés notamment à l’apprentissage. Les deux premiers chapitres présentent le contexte des travaux, leurs apports et les outils mathématiques utilisés. Le troisième chapitre est consacré à la construction d’une fonction de régularisation optimale, permettant par exemple d’améliorer sur le plan théorique la régularisation de l’estimateur LASSO. Le quatrième chapitre présente, dans le domaine de l’optimisation convexe séquentielle, des accélérations d’un algorithme récent et prometteur, MetaGrad, et une conversion d’un cadre dit “séquentiel déterministe" vers un cadre dit “batch stochastique" pour cet algorithme. Le cinquième chapitre s’intéresse à des prévisions successives par intervalles, fondées sur l’agrégation de prédicteurs, sans retour d’expérience intermédiaire ni modélisation stochastique. Enfin, le sixième chapitre applique à un jeu de données pétrolières plusieurs méthodes d’agrégation, aboutissant à des prévisions ponctuelles court-terme et des intervalles de prévision long-terme.

Keywords: Learning; Linear regression; Regularization; Aggregation; Empirical processes; Online convex optimization

Keywords: Apprentissage; Régression linéaire; Régularisation; Agrégation; Processus empiriques; Optimisation convexe séquentielle

Domains: Machine Learning [stat.ML]; Applications [stat.AP]

Raphaël Deswarte. Linear regression and learning : contributions to regularization and aggregation methods. Machine Learning [stat.ML]. Université Paris Saclay (COmUE), 2018. English. ⟨NNT : 2018SACLX047⟩. ⟨tel-01916966v2⟩