 |
|
|
|
| Fiche détaillée | Thèses |
|
|
| ENSAE ParisTech (08/12/2006), Olivier Catoni (Dir.) |
|
|
| Liste des fichiers attachés à ce document : | |||||
|
|||||
|
|
|
| Inférence Adaptative, Inductive et Transductive, pour l'Estimation de la Regression et de la Densité |
|
|
| Pierre Alquier1, 2 |
|
|
|
| Cette thèse a pour objet l'étude des propriétés statistiques d'algorithmes d'apprentissage dans le cas de l'estimation de la régression et de la densité. Elle est divisée en trois parties. La première partie consiste en une généralisation des théorèmes PAC-Bayésiens, sur la classification, d'Olivier Catoni, au cas de la régression avec une fonction de perte générale. Dans la seconde partie, on étudie plus particulièrement le cas de la régression aux moindres carrés et on propose un nouvel algorithme de sélection de variables. Cette méthode peut être appliquée notamment au cas d'une base de fonctions orthonormales, et conduit alors à des vitesses de convergence optimales, mais aussi au cas de fonctions de type noyau, elle conduit alors à une variante des méthodes dites "machines à vecteurs supports" (SVM). La troisième partie étend les résultats de la seconde au cas de l'estimation de densité avec perte quadratique. |
|
|
|
|
|
|
|
|
|
| 1 : | LPMA - Laboratoire de Probabilités et Modèles Aléatoires |
|
|
| 2 : | CREST - Centre de Recherche en Économie et Statistique |
|
|
|
|
|
|
|
| théorie de l'apprentissage statistique – sélection de modèles – régression aux moindres carrés – régions de confiance – inégalités de concentration – bornes pac-bayésiennes – estimation non-paramétrique – estimation adaptative – mesures empiriques de la complexité – schémas de compression – machines à vecteur support – inégalités oracles – estimateurs randomisés – distribution de Gibbs – estimation de la densité – ondelettes – borne sur le risque. |
| Transductive and Inductive Adaptative Inference for Regression and Density Estimation |
| The aim of this thesis is the study of statistical properties of learning algorithm in the case of regression and density estimation. It is divided into three parts. In the first part, the idea is to generalize Olivier Catoni's PAC-Bayesian theorems about classification to the case of regression estimation with a general loss function. In the second part, we focus more particularly on the least square regression and propose a new iterative algorithm for feature selection. This method can be applied to the case of orthonormal function basis, leading to optimal rates of convergences, as well as to kernel type functions, leading to some variants of the well-known SVM method. In the third part, we generalize the method proposed in the second part to the density estimation setting with quadratic loss. |
| statistical learning theory – modelselection – least square regression estimation – confidence regions – concentration inequalities – pac-bayesian bounds – non-parametricestimation – adaptative estimation – empirical complexity measure – compression schemes – support vector machines – oracle inequalities – randomized estimator – Gibbs distribution – density estimation – wavelets – bound on the risk. |
| tel-00119593, version 1 | |
| http://tel.archives-ouvertes.fr/tel-00119593 | |
| oai:tel.archives-ouvertes.fr:tel-00119593 | |
| Contributeur : Pierre Alquier | |
| Soumis le : Lundi 11 Décembre 2006, 16:00:27 | |
| Dernière modification le : Lundi 11 Décembre 2006, 16:08:21 | |
