Bayesian Plug & Play Methods for Inverse Problems in Imaging
Méthodes bayésiennes Plug & Play pour les problèmes inverses en imagerie
Résumé
This thesis deals with Bayesian methods for solving ill-posed inverse problems in imaging with learnt image priors. The first part of this thesis (Chapter 3) concentrates on two particular problems, namely joint denoising and decompression and multi-image super-resolution. After an extensive study of the noise statistics for these problem in the transformed (wavelet or Fourier) domain, we derive two novel algorithms to solve this particular inverse problem. One of them is based on a multi-scale self-similarity prior and can be seen as a transform-domain generalization of the celebrated non-local bayes algorithm to the case of non-Gaussian noise. The second one uses a neural-network denoiser to implicitly encode the
image prior, and a splitting scheme to incorporate this prior into an optimization algorithm to find a MAP-like estimator.
The second part of this thesis concentrates on the Variational AutoEncoder (VAE) model and some of its variants that show its capabilities to explicitly capture the probability distribution of high-dimensional datasets such as images. Based on these VAE models, we propose two ways to incorporate them as priors for general inverse problems in imaging:
• The first one (Chapter 4) computes a joint (space-latent) MAP estimator named Joint Posterior Maximization using an Autoencoding Prior (JPMAP). We show theoretical and experimental evidence that the proposed objective function satisfies a weak bi-convexity property which is sufficient to guarantee that our optimization scheme converges to a stationary point. Experimental results also show the higher quality of the solutions obtained by our JPMAP approach with respect to other non-convex MAP approaches which more often get stuck in spurious local optima.
• The second one (Chapter 5) develops a Gibbs-like posterior sampling algorithm for the exploration of posterior distributions of inverse problems using multiple chains and a VAE as image prior. We show how to use those samples to obtain MMSE estimates and their corresponding uncertainty.
Cette thèse traite des méthodes bayésiennes pour résoudre des problèmes inverses mal posés en imagerie avec des distributions a priori d’images apprises. La première partie de cette thèse (Chapitre 3) se concentre sur deux problèmes particuliers, à savoir le débruitage et la décompression conjoints et la super-résolution multi-images. Après une étude approfondie des statistiques de bruit pour ces problèmes dans le domaine transformé (ondelettes ou Fourier), nous dérivons deux nouveaux algorithmes pour résoudre ce problème inverse particulie. L’un d’eux est basé sur une distributions a priori d’auto-similarité multi-échelle et peut être vu comme une généralisation du célèbre algorithme de Non-Local Bayes au cas du
bruit non gaussien. Le second utilise un débruiteur de réseau de neurones pour coder implicitement la distribution a priori, et un schéma de division pour incorporer cet distribution dans un algorithme d’optimisation pour trouver un estimateur de type MAP.
La deuxième partie de cette thèse se concentre sur le modèle Variational AutoEncoder (VAE) et certaines de ses variantes qui montrent ses capacités à capturer explicitement la distribution de probabilité d’ensembles de données de grande dimension tels que les images. Sur la base de ces modèles VAE, nous proposons deux manières de les incorporer comme distribution a priori pour les problèmes inverses généraux en imagerie:
• Le premier (Chapitre 4) calcule un estimateur MAP conjoint (espace-latent) nommé Joint Posterior Maximization using an Autoencoding Prior (JPMAP). Nous montrons des preuves théoriques et expérimentales que la fonction objectif proposée satisfait une propriété de bi-convexité faible qui est suffisante pour garantir que notre schéma d’optimisation converge vers un point stationnaire. Les résultats expérimentaux montrent également la meilleure qualité des solutions obtenues par notre approche JPMAP par rapport à d’autres approches MAP non convexes qui restent le plus souvent bloquées dans des minima locaux.
• Le second (Chapitre 5) développe un algorithme d’échantillonnage a posteriori de type Gibbs pour l’exploration des distributions a posteriori de problèmes inverses utilisant des chaînes multiples et un VAE comme distribution a priori. Nous montrons comment utiliser ces échantillons pour obtenir des estimations MMSE et leur incertitude correspondante.
Origine : Fichiers produits par l'(les) auteur(s)