Synthetic learning for neural image restoration methods
Apprentissage synthétique pour les méthodes neuronales de restauration d'images
Résumé
Photography has become an important part of our lives. In addition, expectations in terms of image quality are increasing while the size of imaging devices is decreasing. In this context, the improvement of image processing algorithms is essential.In this manuscript, we are particularly interested in image restoration tasks. The goal is to produce a clean image from one or more noisy observations of the same scene. For these problems, deep learning methods have grown dramatically in the last decade, outperforming the state of the art for the vast majority of traditional tests.While these methods produce impressive results, they have a number of drawbacks. First of all, they are difficult to interpret because of their "black box" operation. Moreover, they generalize rather poorly to acquisition or distortion modalities absent from the training database. Finally, they require large databases, which are sometimes difficult to acquire.We propose to attack these different problems by replacing the data acquisition by a simple image generation algorithm, based on the dead leaves model. Although this model is very simple, the generated images have statistical properties close to those of natural images and many invariance properties (scale, translation, rotation, contrast...). Training a restoration network with this kind of image allows us to identify the important properties of the images for the success of the restoration networks. Moreover, this method allows us to get rid of the data acquisition, which can be tedious.After presenting this model, we show that the proposed method allows to obtain restoration performances very close to traditional methods for relatively simple tasks. After some adaptations of the model, synthetic learning also allows us to tackle difficult concrete problems, such as RAW image denoising. We then propose a statistical study of the color distribution of natural images, allowing to elaborate a realistic parametric model of color sampling for our generation algorithm. Finally, we present a new perceptual loss function based on camera evaluation protocols, using the dead leaf images. The training performed with this function shows that we can jointly optimize the evaluation of the cameras, while keeping identical performances on natural images.
La photographie occupe aujourd'hui une place prépondérante dans nos vies. De plus, les attentes en terme de qualité des images augmentent tandis que la taille des appareils imageurs diminuent. Dans ce contexte, l'amélioration des algorithmes de traitement d'image est primordial.Dans ce manuscrit, on s'intéresse particulièrement aux tâches de restauration des images. Le but est de produire une image propre à partir d'une ou plusieurs observations bruitées de la même scène. Pour ces problèmes, les méthodes d'apprentissage profond ont connu un essor spectaculaire dans la dernière décennie, surpassant l'état de l'art pour la grande majorité des tests traditionnels.Bien que ces méthodes produisent des résultats impressionnants, elles présentent un certain nombre d'inconvénients. Tout d'abord, elles sont difficilement interprétables de part leur fonctionnement “boite noire”. De plus, elles généralisent assez mal à des modalités d'acquisition ou de distorsion absentes de la base de donnée d'apprentissage. Enfin, elles nécessitent des bases de données volumineuses, qui sont parfois difficile à acquérir.On se propose d'attaquer ces différents problèmes en remplaçant l'acquisition des données par un algorithme simple de génération de d'image, basé sur le modèle feuilles mortes. Bien que ce modèle soit très simple, les images générées ont des propriétés statistiques proches de celles des images naturelles et de nombreuses propriétés d'invariances (échelle, translation, rotation, contraste…). Entraîner un réseau de restauration avec ce genre d'image nous permet d'identifier les propriétés importantes des images pour la réussite des réseaux de restauration. De plus, cette méthode permet de s'affranchir de l'acquisition des données, qui peut s'avérer fastidieuse.Après avoir présenté ce modèle, on montre dans un premier temps que la méthode proposée permet d'obtenir des performances de restauration très proches des méthodes traditionnelles pour des tâches relativement simples. Après quelques adaptations du modèle, l'apprentissage synthétique permet aussi de s'attaquer à des problèmes concrets difficiles, comme le débruitage d'images RAW. On propose ensuite une étude statistique de distribution des couleurs des images naturelles, permettant d'élaborer un modèle parametrique réaliste d'échantillonnage des couleurs pour notre algorithme de génération. Enfin, on présente une nouvelle fonction de perte perceptuelle basée sur les protocoles d'évaluation des cameras, faisant intervenir les images feuilles mortes. Les entrainement réalisés avec cette fonction montre qu'on peut conjointement optimiser l'évaluation des appareils, tout en conservant des performances identiques sur les images naturelles.
Origine : Version validée par le jury (STAR)