Statistical performances of kernel methods
Performances statistiques de méthodes à noyaux
Résumé
This manuscript studies the statistical performances of kernel methods to solve the binary classification problem. We observe an independent and identically distributed (i.i.d.) sequence of random pairs $(X_i,Y_i)$, $i=1,\ldots ,n$ of unknown probability distribution $P$ over $\mathcal{X}\times \{-1,+1\}$. The aim is to learn, from a new observation $X$, the corresponding class $Y\in\{-1,+1\}$ where $(X,Y)\sim P$. A well-known minimizer of the generalization error $R(f)=P(f(X)\not= Y)$ is called the Bayes rule. The present work proposes to give rates of convergence to the Bayes for SVM-type minimization. We also study a new procedure of model selection called the Risk Hull Minimization.
Kernel methods are based on the minimization of an empirical risk and a regularizer. Support Vector Machines is one of the most classical representant. In a first time, we propose learning rates for this algorithm and consider the problem of adaptation to the margin and to the complexity. We also provide a new procedure of penalized empirical risk minimization using Besov spaces as hypothesis spaces. Finally we study a new method of model selection called the Risk Hull Minimization. We use this procedure in binary classification to select the bandwidth of a KPM classifier and give statistical performances in terms of oracle inequality.
Kernel methods are based on the minimization of an empirical risk and a regularizer. Support Vector Machines is one of the most classical representant. In a first time, we propose learning rates for this algorithm and consider the problem of adaptation to the margin and to the complexity. We also provide a new procedure of penalized empirical risk minimization using Besov spaces as hypothesis spaces. Finally we study a new method of model selection called the Risk Hull Minimization. We use this procedure in binary classification to select the bandwidth of a KPM classifier and give statistical performances in terms of oracle inequality.
Cette thèse se concentre sur le modèle de classification binaire. Etant donné $n$ couples de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) $(X_i,Y_i)$, $i=1,\ldots ,n$ de loi $P$, on cherche à prédire la classe $Y\in\{-1,+1\}$ d'une nouvelle entrée $X$ où $(X,Y)$ est de loi $P$. La règle de Bayes, notée $f^*$, minimise l'erreur de généralisation $R(f)=P(f(X)\not=Y)$. Un algorithme de classification doit s'approcher de la règle de Bayes. Cette thèse suit deux axes : établir des vitesses de convergence vers la règle de Bayes et proposer des procédures adaptatives.
Les méthodes de régularisation ont montrées leurs intérêts pour résoudre des problèmes de classification. L'algorithme des Machines à Vecteurs de Support (SVM) est aujourd'hui le représentant le plus populaire. Dans un premier temps, cette thèse étudie les performances statistiques de cet algorithme, et considère le problème d'adaptation à la marge et à la complexité. On étend ces résultats à une nouvelle procédure de minimisation de risque empirique pénalisée sur les espaces de Besov. Enfin la dernière partie se concentre sur une nouvelle procédure de sélection de modèles : la minimisation de l'enveloppe du risque (RHM). Introduite par L.Cavalier et Y.Golubev dans le cadre des problèmes inverses, on cherche à l'appliquer au contexte de la classification.
Les méthodes de régularisation ont montrées leurs intérêts pour résoudre des problèmes de classification. L'algorithme des Machines à Vecteurs de Support (SVM) est aujourd'hui le représentant le plus populaire. Dans un premier temps, cette thèse étudie les performances statistiques de cet algorithme, et considère le problème d'adaptation à la marge et à la complexité. On étend ces résultats à une nouvelle procédure de minimisation de risque empirique pénalisée sur les espaces de Besov. Enfin la dernière partie se concentre sur une nouvelle procédure de sélection de modèles : la minimisation de l'enveloppe du risque (RHM). Introduite par L.Cavalier et Y.Golubev dans le cadre des problèmes inverses, on cherche à l'appliquer au contexte de la classification.
Loading...