Adaptive estimation by selecting a best partition into dyadic rectangles
Estimation adaptative par sélection de partitions en rectangles dyadiques
Abstract
In this thesis, we study several estimation problems by selection of a best piecewise constant or piecewise polynomial estimator built on a partition into dyadic intervals or rectangles, using an adequate least-squares type criterion. Our works are devoted to three topics. First, we are concerned with discrete distribution estimation and provide an application to multiple change-point detection. Then, we propose a unified approach to functional estimation problems based on possibly censored data. Last, we lead a simultaneous study of multivariate density and conditional density estimation based on dependent data. The choice of the collection of partitions into dyadic intervals or rectangles reveals highly interesting in theory and in practice. As a matter of fact, our penalized estimator satisfies in each framework a nonasymptotic oracle-type inequality for a well-chosen penalty. It also reaches the minimax rate, up to a constant, over a wide range of classes of functions that may have inhomogeneous and anisotropic smoothness. Such a property, that, up to our knowledge, has never been proved for any other estimator, follows from approximation results whose proofs are inspired from a paper by DeVore and Yu. Besides, in a univariate framework, our estimator can be determined via a shortest-path algorithm whose computational complexity is only linear in the sample size.
Dans cette thèse, nous étudions divers problèmes d'estimation par sélection d'estimateurs constants ou polynomiaux par morceaux sur des partitions en intervalles ou rectangles dyadiques, en utilisant un critère de type moindres carrés pénalisé adéquat. Nos travaux portent sur trois sujets différents. Nous nous intéressons tout d'abord à l'estimation d'une loi de probabilité discrète, ainsi qu'à une application à la détection de ruptures multiples. Puis, nous proposons un cadre unifié pour l'estimation fonctionnelle basée sur des données éventuellement censurées. Enfin, nous étudions simultanément l'estimation de densité multivariée et de densité conditionnelle pour des données dépendantes. Le choix de la collection de partitions en intervalles ou rectangles dyadiques s'avère intéressant aussi bien en théorie qu'en pratique. En effet, notre estimateur pénalisé vérifie dans chacun des cadres une inégalité de type oracle non-asymptotique, pour une pénalité bien choisie. Il atteint également la vitesse minimax à constante près sur de nombreuses classes de fonctions, dont la régularité est éventuellement à la fois non homogène et non isotrope. Cette propriété, qui à notre connaissance n'a été démontrée pour aucun autre estimateur, repose sur des résultats d'approximation dont les preuves sont inspirées d'un article de DeVore et Yu. Par ailleurs, le calcul de notre estimateur dans un cadre univarié est basé sur un algorithme de plus court chemin dont la complexité est seulement linéaire en la taille de l'échantillon.