Efficient stochastic sampling of Bernoulli mixture of Gaussian models for sparse inverse problems
Échantillonnage stochastique efficace par modèle Bernoulli mélange de Gaussiennes pour la résolution des problèmes inverses parcimonieux
Résumé
This thesis deals with sparse inverse problems when the observed data can be considered as a linear combination of a small number of elements called « atoms » (e.g., pulses, shifted instrumental response or sinusoids). These problems are encountered in various domains, ranging from ultrasonic non-destructive testing to spectroscopy and spectral analysis. In the Bayesian framework, these problems can be addressed by considering a priori models on the parameters of interest that take into account the sparsity explicitly via the introduction of binary variables (e.g., Bernoulli-Gaussian model). The estimation of the parameters is done by computing the posterior mean estimator from samples generated by Markov chain Monte Carlo (MCMC) methods. The major advantage of MCMC methods in the Bayesian framework, compared to deterministic optimization approaches, is the possibility of integrating without much difficulty the estimation of the hyper-parameters of the model (e.g., the variance of the observation noise) as well as considering semi-blind or blind settings, i.e., cases where the atoms are partially or totally unknown. However, MCMC methods are generally computationally expensive and need to be handled carefully to ensure their convergence. An efficient sampling approaches based on the Partially Collapsed Gibbs Sampler (PCGS) have been developed for the Bernoulli-Gaussian model. However, it cannot be used with other sparse enforcing priors, such as priors with long-tailed distributions (e.g., Bernoulli-Laplace) which are preferable to the Gaussian because they induce less regularization; or with distributions supported in a bonded interval (e.g., Bernoulli-Exponential) in order to guarantee a non-negativity constraint. As a result one is restricted to the computationally expensive classical MCMC methods. The objective of this thesis is to reconcile PCGS sampling with models that explicitly take into account sparsity other than the Bernoulli-Gaussian model. The main contribution is the introduction and study of a new prior model called « Bernoulli Mixture of Gaussians » (BMG). The latter, based on continuous Gaussian mixtures improves the convergence properties of MCMC methods thanks to an efficient numerical implementation of PCGS algorithms. On the other hand, the model is presented in a general framework, allowing to take into account, in a systematic way, a rich family of probability distributions. More precisely, the BMG relies on the LSMG (Location and Scale Mixture of Gaussians) family, which we have studied and characterized. The second major contribution consists in extending the field of application of the BMG model to probability distributions supported on a bounded interval. Thus, we have proposed a new approach to approximate probability distributions called « asymptotically Exact Location-Scale Approximations » (ELSA) for which we have shown good behavior, both in theory and in practice and empirically validate its efficiency compared to state-of-the-art approaches. Finally, the efficiency of the BMG model, its PCGS sampler and ELSA approximations is studied and validated in the context of sparse inverse problems on an example of spike train deconvolution.
Cette thèse aborde la résolution des problèmes inverses parcimonieux quand les données observées peuvent être considérées comme une combinaison linéaire d'un faible nombre d'éléments dits « atomes » (e.g., impulsions, réponse instrumentale décalée ou sinusoïdes). Ces problèmes sont rencontrés dans différents domaines d'application, allant du contrôle non destructif ultrasonore, à la spectroscopie et l'analyse spectrale. Dans le contexte bayésien, ces problèmes peuvent être abordés en considérant des modèles a priori sur les paramètres d'intérêts, prenant en compte la parcimonie de façon explicite via l'introduction de variables binaires (e.g., modèle Bernoulli-Gaussien). L'estimation des paramètres se fait ensuite en calculant un estimateur de type espérance a posteriori à partir d'échantillons générés par des méthodes Monte-Carlo par chaînes de Markov (MCMC). L'avantage majeur des méthodes MCMC dans le contexte bayésien, par rapport aux approches d'optimisation déterministes, est la possibilité d'intégrer sans grande difficulté l'estimation des hyper-paramètres du modèle (e.g., la variance du bruit d'observation) ainsi que de se placer dans un cadre semi-aveugle ou aveugle, c'est-à-dire des cas où les atomes sont partiellement ou totalement inconnus. Cependant, ces méthodes MCMC sont généralement très coûteuses en temps de calcul et nécessitent d'être manipulées avec soin afin de garantir leur convergence. Des approches d'échantillonnage efficace s'appuyant sur le Partially Collapsed Gibbs Sampler (PCGS) ont été développées dans le cas du modèle Bernoulli-Gaussien. Cependant, elles ne peuvent pas être utilisées dès que l'on souhaite considérer d'autres a priori parcimonieux, avec des lois à longues queues (e.g., Bernoulli-Laplace) qui sont préférables à la Gaussienne car elles induisent une moindre régularisation ; ou avec des lois à support réduit (e.g., Bernoulli-Exponentiel) afin de garantir une contrainte de non-négativité. On est alors restreint à l'utilisation des méthodes MCMC classiques coûteuses en temps de calcul. L'objectif de cette thèse est de réconcilier l'échantillonnage PCGS avec des modèles prenant en compte la parcimonie de façon explicite autres que le modèle Bernoulli-Gaussien. La principale contribution est l'introduction et l'étude d'un nouveau modèle a priori dit « Bernoulli Mélange de Gaussiennes » (BMG). Ce dernier repose sur les lois de mélange continu de Gaussiennes et permet l'amélioration des propriétés de convergence des méthodes MCMC grâce à une implémentation numérique efficace d'algorithmes PCGS. D'autre part, le modèle est présenté dans un cadre général, permettant de prendre en compte, de manière systématique, de nombreuses lois de probabilité. Pour ces travaux, nous avons exploité des lois de probabilité de la famille LSMG (Location and Scale Mixture of Gaussians), peu étudiée dans la littérature, que nous avons caractérisées plus précisément. Une deuxième contribution majeure consiste à étendre le champ d'application du modèle BMG aux lois de probabilité à support réduit. Ainsi, nous avons proposé une nouvelle approche d'approximation de lois de probabilité dénommée « asymptotically Exact Location-Scale Approximations » (ELSA) pour laquelle nous avons montré le bon comportement, à la fois en théorie et en pratique et avons montré empiriquement son efficacité par rapport aux approches de l'état de l'art. Enfin, l'efficacité du nouveau modèle BMG, de son échantillonneur PCGS et des approximations ELSA est étudiée et validée dans le cadre des problèmes inverses parcimonieux sur un exemple de déconvolution de train d'impulsions.
Origine : Version validée par le jury (STAR)