Non-local statistics in images: modelisation, estimation and sampling.

Statistiques non locales dans les images : modélisation, estimation et échantillonnage

Valentin de Bortoli (1)

1 ENS Paris Saclay - Ecole Normale Supérieure Paris-Saclay

In this thesis we study two non-local statistics in images from a probabilistic point of view: spatial redundancy and convolutional neural network features. More precisely, we are interested in the estimation and detection of spatial redundancy in natural images. We also aim at sampling images with neural network constraints. We start by giving a definition of spatial redundancy in natural images.This definition relies on two concepts: a Gestalt analysis of the notion of similarity in images, and a hypothesis testing framework (the a contrario method). We propose an algorithm to identify this redundancy in natural images. Using this methodology we can detect similar patches in images and, with this information, we propose new algorithms for diverse image processing tasks (denoising, periodicity analysis). The rest of this thesis deals with sampling images with non-local constraints. The image models we consider are obtained via the maximum entropy principle. The target distribution is then obtained by minimizing an energy functional. We use tools from stochastic optimization to tackle this problem. More precisely, we propose and analyze a new algorithm: the SOUL (Stochastic Optimization with Unadjusted Langevin) algorithm. In this methodology, the gradient is estimated using Monte Carlo Markov Chains methods. In the case of the SOUL algorithm we use an unadjusted Langevin algorithm.The efficiency of the SOUL algorithm is related to the ergodic properties of the underlying Markov chains. Therefore we are interested in the convergence properties of certain class of functional autoregressive models. We characterize precisely the dependency of the convergence rates of these models with respect to their parameters (dimension, smoothness, convexity). Finally, we apply the SOUL algorithm to the problem of examplar-based texture synthesis with a maximum entropy approach. We draw links between our model and other entropy maximization procedures (macrocanonical models, microcanonical models). Using convolutional neural network constraints we obtain state-of-the art visual results.

Dans cette thèse, on étudie d'un point de vue probabiliste deux statistiques non locales dans les images : la redondance spatiale et les moments de certaines couches de réseaux de neurones convolutionnels. Plus particulièrement, on s'intéresse à l'estimation et à la détection de la redondance spatiale dans les images naturelles et à l'échantillonnage de modèles d'images sous contraintes de moments de sorties de réseaux de neurones. On commence par proposer une définition de la redondance spatiale dans les images naturelles. Celle-ci repose sur une analyse Gestaltiste de la notion de similarité ainsi que sur un cadre statistique pour le test d'hypothèses via la méthode a contrario. On développe un algorithme pour identifier cette redondance dans les images naturelles. Celui-ci permet d'identifier les patchs similaires dans une image. On utilise cette information pour proposer de nouveaux algorithmes de traitement d'image (débruitage, analyse de périodicité). Le reste de cette thèse est consacré à la modélisation et à l'échantillonnage d'images sous contraintes non locales. Les modèles d'images considérés sont obtenus via le principe de maximum d'entropie. On peut alors déterminer la distribution cible sur les images via une procédure de minimisation. On aborde ce problème en utilisant des outils issus de l'optimisation stochastique. Plus précisément, on propose et analyse un nouvel algorithme pour l'optimisation stochastique : l'algorithme SOUL (Stochastic Optimization with Unadjusted Langevin). Dans cette méthodologie, le gradient est estimé par une méthode de Monte Carlo par chaîne de Markov (ici l'algorithme de Langevin non ajusté). Les performances de cet algorithme repose sur les propriétés de convergence ergodiques des noyaux de Markov associés aux chaînes de Markov utilisées.On s'intéresse donc aux propriétés de convergence géométrique de certaines classes de modèles fonctionnels autorégressifs. On caractérise précisément la dépendance des taux de convergence de ces modèles vis à vis des constantes du modèle (dimension, régularité, convexité...). Enfin, on applique l'algorithme SOUL au problème de synthèse de texture par maximum d'entropie. On étudie les liens qu'entretient cette approche avec d'autres modèles de maximisation d'entropie (modèles macrocanoniques, modèles microcanoniques). En utilisant des statistiques de moments de sorties de réseaux de neurones convolutionnels on obtient des résultats visuels comparables à ceux de l'état de l'art.

Mots clés: Texture synthesis; Markov chain; Maximum entropy; Langevin algorithm

Mots clés: Synthèse de texture sonore; Chaine de markov; Maximum d'entropie; Algorithme de Langevin

Domaines: Statistiques [math.ST]; Traitement des images [eess.IV]

Valentin de Bortoli. Statistiques non locales dans les images : modélisation, estimation et échantillonnage. Statistiques [math.ST]. Université Paris Saclay, 2020. Français. ⟨NNT : ⟩. ⟨tel-02953077⟩