Towards the generation of glioblastoma atlases with deep learning methods : Tumor segmentation and metamorphic image registration
Vers la génération d'altlas de glioblastomes avec des méthodes d'apprentissage profond : Segmentation de tumeurs et recalage métamorphique d'images
Résumé
The aim of this thesis was to build an atlas of glioblastoma (brain tumors). In medical imaging, an atlas is an image or a set of images that are meant to represent the statistical distribution of a population. Often, this distribution takes the form of an image representing the population average and a set of deformation maps between this mean and each image. To construct an atlas, it is therefore important to correctly define the transformations between the images. Conventional registration methods assume that the two images have only a geometric difference - that is, the first image is the bijective deformation of the other. However, this is not the case in our context, where the two images do not have the same number of components (one of the two images has the tumor in addition). A challenge of this thesis was therefore to produce transformations between two images with different topologies.The first part of the thesis focused on the segmentation of brain tumors on MRI. Indeed, it is important to segment the tumors in order to precisely detect the location with the topological differences. Since our goal is to build an atlas from clinical images, we need a segmentation algorithm that performs well on patients with only one acquisition modality available (such as T1-weighted images). However, most of the state-of-the-art (SOTA) tumor segmentation algorithms need four modalities to perform well. The first goal of this thesis was thus to produce a segmentation algorithm that performs well on test images from a single modality, while leveraging information from multi-modal databases during training. To this end, we proposed a new method based on knowledge distillation (Hinton et al., 2015). We use a teacher network that takes four modalities as input and helps training a student network that takes as input only one of the teacher modalities. We compare the proposed method with several knowledge distillation strategies and show that this kind of methods performs well in a low-data regime and becomes less useful in a high-data regime.The second part of the thesis deals with the registration of a cancerous image onto a healthy image. We developed a method that, in addition to taking into account the geometric differences, it also considers the topological differences between two images. Inspired by Metamorphosis (Trouvé and Younès, 2005), a method developed to transform the geometry and intensity levels of an image, we used a residual neural network to solve the partial differential equations that encode the Metamorphosis framework. This allowed us to reformulate the method in a learning context, which greatly reduced the inference time once the network has been trained. Additionally, we encouraged an anatomically meaningful disentanglement between shape and appearance transformations by leveraging the (previously estimated) segmentation mask of the tumor. In this way, we allow appearance changes only in the regions where topological differences occur between source and target images (e.g., tumor). The developed registration method is thus an important tool in the construction of the glioblastoma atlas.
Cette thèse s'inscrit dans le cadre de la construction d'un atlas de glioblastomes (tumeurs cérébrales). En imagerie médicale, un atlas est une image ou un ensemble d'images représentant la distribution statistique d'une population. Souvent, cette distribution prend la forme d'une image représentant la moyenne de la population et d'un ensemble de cartes de déformations entre cette moyenne et chaque image. Pour construire un atlas, il est donc important de correctement définir les transformations entre les images. Les méthodes classiques de recalage considèrent que les deux images sont en correspondance bijective. Or, cela n'est pas le cas dans notre contexte où les deux images n'ont pas le même nombre de composants (une des deux images a la tumeur en plus). Un défi de la thèse a donc été de produire des transformations entre deux images avec des topologies différentes.La première partie de la thèse a porté sur la segmentation de tumeurs cérébrales sur des IRM, permettant ainsi de déterminer précisément l'endroit avec la différence topologique. Alors que la plupart des algorithmes utilisent plusieurs modalités d'acquisition, dans la pratique clinique souvent une seule est dispon- ible (les images pondérées en T1 par exemple). Notre problématique a donc été de proposer un algorithme qui soit performant sur une seule modalité tout en utilisant les informations des bases de données multi-modales pendant l'apprentissage. Pour cela, nous avons utilisé une technique de distillation de connaissances (Hinton et al., 2015). Nous utilisons un réseau maître prenant quatre modalités en entrée pour entraîner un réseau étudiant qui lui ne prend qu'une seule modalité. Une analyse de différentes stratégies de distillation nous permis de montrer dans quels cas ces méthodes sont utiles.La seconde partie de la thèse porte sur le recalage d'une image d'un patient ayant une tumeur vers une image de sujet sain. Nous avons développé une méthode qui prend en compte à la fois les différences géométriques et les différences topologiques entre deux images. Nous nous sommes inspirés des Métamorphoses (Trouvé and Younès, 2005) qui ont été développées pour trans- former la géométrie et les niveaux d'intensité d'une image. Nous avons utilisé un réseau de neurones résiduel pour résoudre les équations aux dérivées partielles qui constituent les métamorphoses. Cela nous permet d'utiliser la méthode en apprentissage, réduisant considérablement le temps d'inférence une fois que le réseau a été entraîné. En outre, nous encourageons une séparation entre les transformations de forme et d'apparence en exploitant un masque de segmentation de la tumeur. De cette façon, nous autorisons les changements d'apparence uniquement dans les régions où des différences topologiques apparaissent entre les images source et cible (par exemple, la tumeur). La méthode de recalage développée constitue ainsi un outil important dans le but de construire un atlas de glioblastomes.
Origine : Version validée par le jury (STAR)