Oracle Inequalities for the Regression Estimation

Inégalités d'Oracle pour l'Estimation de la Régression

Yun Cao (1)

1 LATP - Laboratoire d'Analyse, Topologie, Probabilités

In this thesis, we study some aspects of the non-parametric regression functions estimation. Our propose is to estimate an unknown function f from the given data Y=f+ϵ where ϵ is a Gaussian noise. We consider an approach based on the unbiased risk estimation, and we obtain oracle inequalities for polynomial and spline estimators families. Given an estimators family M, such an inequality allows to compare the performances of an adaptive estimator f ̂^* to the oracle estimator f ̂_or. The very core of our approach is related to data-driven methods for choosing a degree of the fitting polynomial and a smoothing spline parameter. We provide non-asymptotic upper bounds for the mean square risk of fitting.
In order to obtain the oracle inequalities, we use the Doob inequality for the Wiener process in polynomial fitting and introduce a more general notion of the Wiener process, ordered process, in case of the spline estimation.

Dans cette thèse, on s'intéresse à l'estimation des fonctions de régression par polynômes et par splines dans le cadre des statistiques non-paramétriques. L'objectif est d'estimer la fonction cible f, à partir des observations Y=f+ϵ, où ϵ est un bruit gaussien. En appuyant sur la méthode d'estimation du risque sans biais, l'idée consiste à obtenir des inégalités d'oracle pour des familles d'estimateurs par polynômes et par splines. Etant donnée une famille d'estimateurs M, une telle inégalité permet de comparer, sans aucune hypothèse sur la fonction cible f, les performances de l'estimateur f ̂^* à l'estimateur d'oracle f ̂_or. Le point essentiel de notre approche consiste à sélectionner, à l'aide des données, un paramètre d'estimation adapté : lorsque on considère le problème de l'estimation par projection, ce paramètre est le degré du polynôme ; dans le cas de l'estimation par splines, ce paramètre correspond à un paramètre de lissage. Ainsi, on en déduit des bornes supérieures non-asymptotiques pour les risques quadratiques de notre adaptation.
Afin d'obtenir des inégalités d'oracle, on applique l'inégalité de Doob pour le processus de Wiener pour l'estimation par polynômes ; dans le cas de l'estimation par splines, on introduit le processus ordonné en généralisant le processus de Wiener.

Mots clés: oracle inequalities; unbiased risk estimation; polynomial fitting; spline fitting; Wiener process; ordered process; Doob's inequality

Mots clés: inégalité d'oracle; estimation du risque sans biais; estimation par polynômes; estimation par spline; processus Wiener; processus ordonné; inégalité de Doob

Domaines: Mathématiques [math]

Yun Cao. Inégalités d'Oracle pour l'Estimation de la Régression. Mathématiques [math]. Université de Provence - Aix-Marseille I, 2008. Français. ⟨NNT : ⟩. ⟨tel-00341752⟩