Fiche détaillée

Thèses

Université de Versailles-Saint Quentin en Yvelines (18/12/2006), Mokkadem abdelkader (Dir.)

Liste des fichiers attachés à ce document :

PDF thesemps1.pdf(822.3 KB)

Application des méthodes d'approximations stochastiques à l'estimation de la densité et de la régression

Yousri Slaoui1

L'objectif de cette thèse est d'appliquer les méthodes d'approximations stochastiques à l'estimation de la densité et de la régression. Dans le premier chapitre, nous construisons un algorithme stochastique à pas simple qui définit toute une famille d'estimateurs récursifs à noyau d'une densité de probabilité. Nous étudions les différentes propriétés de cet algorithme. En particulier, nous identifions deux classes d'estimateurs; la première correspond à un choix de pas qui permet d'obtenir un risque minimal, la seconde une variance minimale. Dans le deuxième chapitre, nous nous intéressons à l'estimateur proposé par Révész (1973, 1977) pour estimer une fonction de régression r:x-> E[Y|X=x]. Son estimateur r_n, construit à l'aide d'un algorithme stochastique à pas simple, a un gros inconvénient: les hypothèses sur la densité marginale de X nécessaires pour établir la vitesse de convergence de r_n sont beaucoup plus fortes que celles habituellement requises pour étudier le comportement asymptotique d'un estimateur d'une fonction de régression. Nous montrons comment l'application du principe de moyennisation des algorithmes stochastiques permet, tout d'abord en généralisant la définition de l'estimateur de Révész, puis en moyennisant cet estimateur généralisé, de construire un estimateur récursif br_n qui possède de bonnes propriétés asymptotiques. Dans le troisième chapitre, nous appliquons à nouveau les méthodes d'approximation stochastique à l'estimation d'une fonction de régression. Mais cette fois, plutôt que d'utiliser des algorithmes stochastiques à pas simple, nous montrons comment les algorithmes stochastiques à pas doubles permettent de construire toute une classe d'estimateurs récursifs d'une fonction de régression, et nous étudions les propriétés asymptotiques de ces estimateurs. Cette approche est beaucoup plus simple que celle du deuxième chapitre: les estimateurs construits à l'aide des algorithmes à pas doubles n'ont pas besoin d'être moyennisés pour avoir les bonnes propriétés asymptotiques.

1 :	LM-Versailles - Laboratoire de Mathématiques de Versailles

Équipe de recherche : probabilités-statistiques

mots-clés : Algorithme d'approximation stochastique – Estimation – Estimation de densité – La régression nonparamétrique.

Application of stochastic approximation methods to estimate a density and a regression function

The objective of this thesis is to apply the stochastic approximations methods to the estimation of a density and of a regression function. In the first chapter, we build up a stochastic algorithm with single stepsize, which defines a whole family of recursive kernel estimators of a probability density. We study the properties of this algorithm. In particular, we identify two classes of estimators; the first one corresponds to a choice of stepsize which allows to get a minimum mean squared error, the second one a minimum variance. In the second chapter, we consider the estimator proposed by Révész (1973, 1977) to estimate a regression function r:x->E[Y|X=x\]. His estimator r_n, built up by using a single-time-scale stochastic algorithm, has a big disadvantage: the assumptions on the marginal density of X necessary to establish the convergence rate of r_n are much stronger than those usually required to study the asymptotic behavior of an estimator of a regression function. We show how the application of the averaging principle of stochastic algorithms allows, by first generalizing the definition of the estimator of Révész and then by averaging this generalized estimator, to build up a recursive estimator br_n which has good asymptotic properties. In the third chapter, we still apply stochastic approximation methods to estimate a regression function. But this time, rather than to use single-time-scale stochastic algorithm, we show how the two-time-scale stochastic algorithms allow to build up a whole class of recursive estimators of a regression function, and we study the asymptotic properties of these estimators. This approach is much easier than the one of the second chapter: the estimators built up using the two-time-scale algorithms do not need to be averaged to have good asymptotic properties.

mots-clés en anglais : Stochastic approximation algorithm – Estimation – density estimation – nonparametric regression.

tel-00131964, version 1

http://tel.archives-ouvertes.fr/tel-00131964

oai:tel.archives-ouvertes.fr:tel-00131964

Contributeur : Yousri Slaoui <>

Soumis le : Lundi 19 Février 2007, 17:29:58

Dernière modification le : Lundi 19 Février 2007, 18:04:26