Advances in Image Denoising

Quelque progrès en débruitage d'images

Nicola Pierazzo (1)

1 CMLA - Centre de Mathématiques et de Leurs Applications

This thesis explores the last evolutions on image denoising, and attempts to set a new and more coherent background regarding the different techniques involved. In consequence, it also presents a new image denoising algorithm with minimal artifacts and the best PSNR performance known so far.A first result that is presented is DA3D, a frequency-based guided denoising algorithm inspired form DDID [Knaus-Zwicker 2013]. This demonstrates that, contrarily to what was thought, frequency-based denoising can beat state-of-the-art algorithms without presenting artifacts. This algorithm achieves good results not only in terms of PSNR, but also (and especially) with respect to visual quality. DA3D works particularly well on enhancing the textures of the images and removing staircasing effects.DA3D works on top of another denoising algorithm, that is used as a guide, and almost always improve its results. In this way, frequency-based denoising can be applied on top of patch-based denoising algorithms, resulting on a hybrid method that keeps the strengths of both. The second result presented is Multi-Scale Denoising, a framework that allows to apply any denoising algorithm on a multi-scale fashion. A qualitative analysis shows that current denoising algorithms behave better on high-frequency noise. This is due to the relatively small size of patches and search windows currently used. Instead of enlarging those patches, that can cause other sorts of problems, the work proposes to decompose the image on a pyramid, with the aid of the Discrete Cosine Transformation. A quantitative study is performed to recompose this pyramid in order to avoid the appearance of ringing artifacts. This method removes most of the low-frequency noise, and improves both PSNR and visual results for smooth and textured areas.A third main issue addressed in this thesis is the evaluation of denoising algorithms. Experiences indicate that PSNR is not always a good indicator of visual quality for denoising algorithms, since, for example, an artifact on a smooth area can be more noticeable than a subtle change in a texture. A new metric is proposed to improve on this matter. Instead of a single value, a ``Smooth PNSR'' and a ``Texture PSNR'' are presented, to measure the result of an algorithm for those two types of image regions. We claim that a denoising algorithm, in order to be considered acceptable, must at least perform well with respect to both metrics. Following this claim, an analysis of current algorithms is performed, and it is compared with the combined results of the Multi-Scale Framework and DA3D.We found that the optimal solution for image denoising is the application of a frequency shrinkage, applied to regular regions only, while a multiscale patch based method serves as guide. This seems to resolve a long standing question for which DDID gave the first clue: what is the respective role of frequency shrinkage and self-similarity based methods for image denoising? We describe an image denoising algorithm that seems to perform better in quality and PSNR than any other based on the right combination of both denoising principles. In addition, a study on the feasibility of external denoising is carried, where images are denoised by means of a big database of external noiseless patches. This follows a work of Levin and Nadler, in 2011, that claims that state-of-the-art results are achieved with this method if a large enough database is used. In the thesis it is shown that, with some observation, the space of all patches can be factorized, thereby reducing the number of patches needed in order to achieve this result. Finally, secondary results are presented. A brief study of how to apply denoising algorithms on real RAW images is performed. An improved, better performing version of the Non-Local Bayes algorithm is presented, together with a two-step version of DCT Denoising. The latter is interesting for its extreme simplicity and for its speed.

Cette thèse explore les dernières évolutions du débruitage d'images, et elle essaie de développer une vision synthétique des techniques utilisées jusqu'à présent. Elle aboutit à un nouvel algorithme de débruitage d'image évitant les artefacts et avec un meilleur PSNR que tous les algorithmes que nous avons pu évaluer. La première méthode que nous présentons est DA3D, un algorithme de débruitage fréquentiel avec guide, inspiré de DDID. La surprise de cet algorithme, c'est que le débruitage fréquentiel peut battre l'état de l'art sans produire artefacts. Cet algorithme produit des bons résultats non seulement en PSNR, mais aussi (et surtout) en qualité visuelle. DA3D marche particulièrement bien pour améliorer les textures des images et pour enlever les effets de staircasing.DA3D, guidé par un autre algorithme de débruitage améliore presque toujours le résultat de son guide. L'amélioration est particulièrement nette quand le guide est un algorithme à patchs, et alors on combine deux principes différents: auto-similarité suivi de seuillage fréquentiel. Le deuxième résultat présenté est une méthode universelle de débruitage multi-échelle, applicable à tout algorithme. Une analyse qualitative montre en effet que les algorithmes de débruitage à patchs éliminent surtout les hautes fréquences du bruit, à cause de la taille limitée des voisinages traités. Plutôt que d'agrandir ces voisinages nous décomposons l'image en une pyramide basée sur la transformée en cosinus discrète, avec une méthode de recomposition évitant le ringing. Cette méthode traite le bruit à basse fréquence, et améliore la qualité de l'image. Le troisième problème sérieux que nous abordons est l'évaluation des algorithmes de débruitage. Il est bien connu que le PSNR n'est pas un indice suffisant de qualité. Un artefact sur une zone lisse de l'image est bien plus visible qu'une altération en zone texturée. Nous proposons une nouvelle métrique basée sur un Smooth PSNR et un Texture PSNR, pour mesurer les résultats d'un algorithme sur ces deux types des régions. Il apparaît qu'un algorithme de débruitage, pour être considéré acceptable, doit avoir des bons résultats pour les deux métriques. Ces métriques sont finalement utilisées pour comparer les algorithmes de l'état de l'art avec notre algorithme final, qui combine les bénéfices du multi-échelle et du filtrage fréquentiel guidé. Les résultats étant très positifs, nous espérons que la thèse contribue à résoudre un vieux dilemme, pour lequel la méthode DDID avait apporté de précieuses indications : comment choisir entre le seuillage fréquentiel et les méthodes basées sur l'auto-similarité pour le débruitage d'images ? La réponse est qu'il ne faut pas choisir. Cette thèse termine avec quelques perspectives sur la faisabilité du débruitage "externe". Son principe est de débruiter un patch en utilisant une grande base de données externe de patches sans bruit. Un principe bayésien démontré par Levin et Nadler en 2011 implique que le meilleur résultat possible serait atteint avec cette méthode, à condition d'utiliser tous les patches observables. Nous donnons les arguments mathématiques prouvant que l'espace des patches peut être factorisé, ce qui permet de réduire la base de données de patches utilisés d'un facteur au moins 1000.

Mots clés: Denoising; Patches; Image processing; Multiscale; Shrinkage

Mots clés: Debruitage; Patches; Traitement d'images; Multi-Échelle; Seuillage

Domaines: Mathématiques générales [math.GM]

Nicola Pierazzo. Advances in Image Denoising. General Mathematics [math.GM]. Université Paris Saclay (COmUE), 2016. English. ⟨NNT : 2016SACLN036⟩. ⟨tel-01504686⟩