Utilisation d'approches probabilistes basées sur les critères entropiques pour la recherche d'information sur supports multimédia
Résumé
Model selection problems appear frequently in a wide array of applicative domains such as data compression and signal or image processing. One of the most used tools to solve those problems is a real quantity to be minimized called information criterion or penalized likelihood criterion.
The principal purpose of this thesis is to justify the use of such a criterion responding to a given model selection problem, typically set in a signal processing context. The sought justification must have a strong mathematical background.
To this end, we study the classical problem of the determination of the order of an autoregression. We also work on Gaussian regression allowing to extract principal harmonics out of a noised signal. In those two settings we give a criterion the use of which is justified by the minimization of the cost resulting from the estimation. Multiple Markov chains modelize most of discrete signals such as letter sequences or gray scale images. We consider the determination of the order of such a chain. In the continuity we study the problem, a priori distant, of the estimation of an unknown density by an histogram. For those two domains, we justify the use of a criterion by coding notions to which we apply a simple form of the "Minimum Description Length" principle.
Throughout those application domains, we present alternative methods of use of information criteria. Those methods, called comparative, present a smaller complexity of use than usual methods but allow nevertheless a precise description of the model.
The principal purpose of this thesis is to justify the use of such a criterion responding to a given model selection problem, typically set in a signal processing context. The sought justification must have a strong mathematical background.
To this end, we study the classical problem of the determination of the order of an autoregression. We also work on Gaussian regression allowing to extract principal harmonics out of a noised signal. In those two settings we give a criterion the use of which is justified by the minimization of the cost resulting from the estimation. Multiple Markov chains modelize most of discrete signals such as letter sequences or gray scale images. We consider the determination of the order of such a chain. In the continuity we study the problem, a priori distant, of the estimation of an unknown density by an histogram. For those two domains, we justify the use of a criterion by coding notions to which we apply a simple form of the "Minimum Description Length" principle.
Throughout those application domains, we present alternative methods of use of information criteria. Those methods, called comparative, present a smaller complexity of use than usual methods but allow nevertheless a precise description of the model.
Les problèmes de sélection de modèles se posent couramment dans un grand nombre de domaines applicatifs tels que la compression de données ou le traitement du signal et de l'image. Un des outils les plus utilisés pour résoudre ces problèmes se présente sous la forme d'une quantité réelle à minimiser appelée critère d'information ou critère entropique pénalisé.
La principale motivation de ce travail de thèse est de justifier l'utilisation d'un tel critère face à un problème de sélection de modèles typiquement issu d'un contexte de traitement du signal. La justification attendue se doit, elle, d'avoir un solide fondement mathématique.
Nous abordons ainsi le problème classique de la détermination de l'ordre d'une autorégression. La régression gaussienne, permettant de détecter les harmoniques principales d'un signal bruité, est également abordée. Pour ces problèmes, nous donnons un critère dont l'utilisation est justifiée par la minimisation du coût résultant de l'estimation obtenue. Les chaînes de Markov multiples modélisent la plupart des signaux discrets, comme les séquences de lettres ou les niveaux de gris d'une image. Nous nous intéressons au problème de la détermination de l'ordre d'une telle chaîne. Dans la continuité de ce problème nous considérons celui, a priori éloigné, de l'estimation d'une densité par un histogramme. Dans ces deux domaines, nous justifions l'utilisation d'un critère par des notions de codage auxquelles nous appliquons une forme simple du principe de Minimum Description Length.
Nous nous efforçons également, à travers ces différents domaines d'application, de présenter des méthodes alternatives d'utilisation des critères d'information. Ces méthodes, dites comparatives, présentent une complexité d'utilisation moindre que les méthodes rencontrées habituellement, tout en permettant une description précise du modèle.
La principale motivation de ce travail de thèse est de justifier l'utilisation d'un tel critère face à un problème de sélection de modèles typiquement issu d'un contexte de traitement du signal. La justification attendue se doit, elle, d'avoir un solide fondement mathématique.
Nous abordons ainsi le problème classique de la détermination de l'ordre d'une autorégression. La régression gaussienne, permettant de détecter les harmoniques principales d'un signal bruité, est également abordée. Pour ces problèmes, nous donnons un critère dont l'utilisation est justifiée par la minimisation du coût résultant de l'estimation obtenue. Les chaînes de Markov multiples modélisent la plupart des signaux discrets, comme les séquences de lettres ou les niveaux de gris d'une image. Nous nous intéressons au problème de la détermination de l'ordre d'une telle chaîne. Dans la continuité de ce problème nous considérons celui, a priori éloigné, de l'estimation d'une densité par un histogramme. Dans ces deux domaines, nous justifions l'utilisation d'un critère par des notions de codage auxquelles nous appliquons une forme simple du principe de Minimum Description Length.
Nous nous efforçons également, à travers ces différents domaines d'application, de présenter des méthodes alternatives d'utilisation des critères d'information. Ces méthodes, dites comparatives, présentent une complexité d'utilisation moindre que les méthodes rencontrées habituellement, tout en permettant une description précise du modèle.
Fichier principal
these_PDF.pdf (2.11 Mo)
Télécharger le fichier
Soutenance.pdf (793.8 Ko)
Télécharger le fichier
Format : Autre