Prior-constrained Convolutional Neural Networks for Medical Image Segmentation
Apprentissage profond avec contraintes a priori pour la segmentation d’images médicales
Résumé
Today, deep convolutional neural networks (CNNs) have demonstrated state-of-the-art performance for medical image segmentation, on various imaging modalities and tasks. Despite early success, segmentation networks may still generate anatomically aberrant segmentations, with holes or inaccuracies near the object boundaries. Moreover, they often require large amounts of labeled training data, which is not easily available within the medical field. To mitigate these limitations, recent research studies have focused on incorporating prior knowledge, such as object shapes or boundary or location, as constraintswithin the deep learning framework, in order to enforce anatomical plausibility. Constraints via prior knowledge can be incorporated in CNNs either at the level of the network architecture or at the level of the loss function. Whereas structural constraints are rather robust, loss constraints are more generic and can be plugged into any backbone network. The objective of our research is to investigate and propose new methods to constrain CNNs in order to segment anatomical objects in medical imaging. Our contributions are threefold: 1) We propose a survey on prior-based losses in medical image segmentation, in order to identify limitations of current methods and novel research directions. In addition, we conduct a benchmark where we investigate the performance of some stateof-the-art prior-based losses across segmentation tasks and shed light on the underlying relationship between the prior losses relative to the dataset characteristics. 2)We propose novel architectural constraints with BB-UNet (Bounding Box U-Net), which is a novel UNet variant that integrates location as well as shape prior through a convolutional layer, introduced at the level of skip connections. We also investigate the CoordConv component,a spatial coordinate conditioned extension of convolutional layers for medical image segmentation. 3) We propose a constraint at the level of the loss function. The objective of this novel prior-based loss is to regularize organ perimeters in order to take intoaccount border and shape irregularities. We test the proposed methods across a variety of datasets of different tasks and modalities including organs, lesion and tumor segmentation via medical challenges such as SegTHOR, Decathlon, ISLES, to name a few.
Aujourd’hui, les réseaux de neurones convolutifs profonds (CNN) ont montré de très bonnes performances pour la segmentation des images médicales issues de diverses modalités. Malgré ces premiers succès, les réseaux de segmentation peuvent encore générer des segmentations anatomiquement aberrantes, avec des trous ou des imprécisions près des frontières des objets à segmenter. De plus, ils nécessitent souvent de grandes quantités de données étiquetées pour l’entraînement des CNN, données qui ne sont pas facilement disponibles dans le domaine médical. Pour remédier à ces limitations, des recherches récentes se sont concentrées sur l’incorporation de connaissances a priori, telles que la forme, les caractéristiques ou l’emplacement des objets, utilisées comme contraintes, dans le cadre des CNN, afin de renforcer la plausibilité anatomique. Les contraintes via les connaissances a priori peuvent être incorporées dans les CNNs soit au niveau de l’architecture du réseau, soit au niveau de la fonction de perte. Alors que les contraintes structurelles sont plutôt robustes, les contraintes de perte sont plus génériques et peuvent être intégrées à n’importe quelle architecture. L’objectif de notre thèse est d’étudier et de proposer de nouvelles méthodes pour contraindre les, CNN afin de segmenter des organes et/ou des lésions en imagerie médicale. Nos contributions sont de trois ordres : 1) Nous avons proposé un état de l’art des a priori intégrés au fonctions de coût dans les CNN de segmentation, afin d’identifier les limites des méthodes actuelles et les nouvelles directions de recherche. En outre, nous avons effectué un benchmark dans lequel les performances d’une sélection de fonctions de pertes basées sur des a priori sont étudiés et mises en rapport avec les caractéristiques des jeux de données. 2)Nous avons proposé de nouvelles contraintes architecturales avec BB-UNet (Bounding BoxU-Net), qui est une variante deU-Net qui intègre l’emplacement de l’objet à segmenter, ainsi qu’un a priori sur sa forme, par le biais d’une couche convolutive introduite au niveau des skip connections. Nous étudions également le l’apport des couches de type CoordConv, qui sont des convolutions intégrant les coordonnées spatiales des pixels, pour la segmentation des images médicales. 3) Enfin, nous avons proposé une contrainte au niveau de la fonction de pet. L’objectif de cette nouvelle perte basée sur les antériorités est de régulariser les périmètres des organes afin de prendre en compte les irrégularités de bordure et de forme. Nous testons les méthodes proposées sur une variété de jeux de données de différentes tâches et modalités, y compris la segmentation d’organes, de lésions et de tumeurs via des défis médicaux tels que SegTHOR, Decathlon, ISLES, pour n’en citer que quelques-uns.
Origine : Version validée par le jury (STAR)