Segmentation, tracking and visualization of biological objects in 3D fluorescence microscopy using deformable models
Segmentation, suivi et visualisation d'objets biologiques en microscopie 3D par fluorescence : Approches par modèles déformables
Résumé
We focus on the detection and tracking of various biological objects (cells, nuclei, etc.) in 3D images and sequences acquired in fluorescence microscopy. With the growing importance of in situ observation of biological phenomena, it is necessary to provide efficient and intuitive 3D visualization of the scene in addition to its quantitative analysis. Moreover, the automatization of the image aquisition process requires a high level of reproducibility from the algorithms, and often induces time constraints that we strive to take into account.
Deformable models, also known as active contours, are currently among the cutting edge techniques in image analysis for segmentation and tracking tasks, thanks to their robustness, flexibility and high level of semantic description of the target entities. In order to adapt these techniques to our context, we must face various difficulties. First, exisiting methods generally rely on local intensity variations (i.e. gradients) of the image in order to detect the boundary of the target. This approach is inefficient in 3D fluorescence microscopy, where gradients are very weak along the depth axis of the images. Then, we must deal with the simultaneous tracking of multiple objects that may touch each other through time while avoiding their confusion. Finally, we must set up a system allowing an efficient visualization of the contours during their deformation without altering computation times.
In the first part of this work, we strive to solve these problems by proposing a multi-object segmentation and tracking model based on the level set formalism and exploiting the Mumford and Shah functional. The method gives satisfying results, however it is not suitable for efficient 3D rendering of the scene, for which we must rely on 3D reconstruction techniques (e.g. the "Marching Cubes" method). Such algorithms yield heavy memory and time consumptions. Moreover, they may induce approximation errors, thereby resulting in a wrong interpretation of the results.
In the second part, we propose a variation of the previous method by replacing the level set formalism by that of triangular meshes, very popular in the field of computer assisted design (CAD) for their fast and efficient 3D rendering. This new approach produces similar results, however the triangular mesh formalism allows to considerably reduce the algorithm complexity, while allowing a precise 3D rendering of the scene parallely to the segmentation process, which further reduces computation times.
The performance of both methods are first evaluated and compared on a set of simulated data, reproducing as best as possible the characteristics of real images. Then, we focus more particularly on the evaluation of the triangular mesh method on real data. We perform this evaluation on trial high-thoughput screnning experiments using a small set of shape descriptors. Finally, we present practical applications of the method to real biological problems, performed in collaboration with other teams of the Institut Pasteur Korea.
Deformable models, also known as active contours, are currently among the cutting edge techniques in image analysis for segmentation and tracking tasks, thanks to their robustness, flexibility and high level of semantic description of the target entities. In order to adapt these techniques to our context, we must face various difficulties. First, exisiting methods generally rely on local intensity variations (i.e. gradients) of the image in order to detect the boundary of the target. This approach is inefficient in 3D fluorescence microscopy, where gradients are very weak along the depth axis of the images. Then, we must deal with the simultaneous tracking of multiple objects that may touch each other through time while avoiding their confusion. Finally, we must set up a system allowing an efficient visualization of the contours during their deformation without altering computation times.
In the first part of this work, we strive to solve these problems by proposing a multi-object segmentation and tracking model based on the level set formalism and exploiting the Mumford and Shah functional. The method gives satisfying results, however it is not suitable for efficient 3D rendering of the scene, for which we must rely on 3D reconstruction techniques (e.g. the "Marching Cubes" method). Such algorithms yield heavy memory and time consumptions. Moreover, they may induce approximation errors, thereby resulting in a wrong interpretation of the results.
In the second part, we propose a variation of the previous method by replacing the level set formalism by that of triangular meshes, very popular in the field of computer assisted design (CAD) for their fast and efficient 3D rendering. This new approach produces similar results, however the triangular mesh formalism allows to considerably reduce the algorithm complexity, while allowing a precise 3D rendering of the scene parallely to the segmentation process, which further reduces computation times.
The performance of both methods are first evaluated and compared on a set of simulated data, reproducing as best as possible the characteristics of real images. Then, we focus more particularly on the evaluation of the triangular mesh method on real data. We perform this evaluation on trial high-thoughput screnning experiments using a small set of shape descriptors. Finally, we present practical applications of the method to real biological problems, performed in collaboration with other teams of the Institut Pasteur Korea.
Nous nous intéressons à la détection et au suivi d'objets biologiques divers (cellules, noyaux, etc.) dans des images et séquences tri-dimensionnelles acquises en microscopie par fluorescence. L'observation de phénomènes biologiques in situ étant de plus en plus cruciale pour les experts, il est nécessaire, en plus de l'analyse quantitative, d'effectuer un rendu volumique 3D de la scène et des objets qui y évoluent. De plus, l'automatisation des techniques d'acquisition d'images requiert un haut niveau de reproductibilité des algorithmes et induit souvent des contraintes de temps de calcul que nous nous efforçons de prendre en compte.
Les modèles déformables, également connus sous le nom de contours actifs, font actuellement partie des méthodes de pointe en analyse d'images pour la segmentation et le suivi d'objets grâce à leur robustesse, leur flexibilité et leur représentation à haut niveau sémantique des entités recherchées. Afin de les adapter à notre problématique, nous devons faire face à diverses difficultés. Tout d'abord, les méthodes existantes se réfèrent souvent aux variations locales d'intensité (ou gradients) de l'image pour détecter le contour des objets recherchés. Cette approche est inefficace en microscopie tridimensionnelle par fluorescence, où les gradients sont très peu prononcés selon l'axe de profondeur de l'image. Ensuite, nous devons gérer le suivi d'objets multiples susceptibles d'entrer en contact en évitant leur confusion. Enfin, nous devons mettre en place un système permettant de visualiser efficacement les contours durant leur déformation sans altérer les temps de calcul.
Dans la première partie de ce travail, nous pallions à ces problèmes en proposant un modèle de segmentation et de suivi multi-objets basé sur le formalisme des lignes de niveaux (ou level sets) et exploitant la fonctionnelle de Mumford et Shah. La méthode obtenue donne des résultats quantitatifs satisfaisants, mais ne se prête pas efficacement au rendu 3D de la scène, pour lequel nous sommes tributaires d'algorithmes dédiés à la reconstruction 3D (e.g. la méthode des "Marching Cubes"), souvent coûteux en mémoire et en temps de calcul. De plus, ces algorithmes peuvent induire des erreurs d'approximation et ainsi entraîner une mauvaise interprétation des résultats.
Dans la seconde partie, nous proposons une variation de la méthode précédente en remplaçant le formalisme des lignes de niveaux par celui des maillages triangulaires, très populaire dans le domaine de la conception assistée par ordinateur (CAO) pour leur rendu 3D rapide et précis. Cette nouvelle approche produit des résultats quantitatifs équivalents, en revanche le formalisme des maillages permet d'une part de réduire considérablement la complexité du problème et autorise d'autre part à effectuer un rendu 3D précis de la scène parallèlement au processus de segmentation, réduisant d'autant plus les temps de calculs.
Les performances des deux méthodes proposées sont d'abord évaluées puis comparées sur un jeu de données simulées reproduisant le mieux possible les caractéristiques des images réelles. Ensuite, nous nous intéressons plus particulièrement à l'évaluation de la méthode par maillages sur des données réelles, en évaluant la robustesse et la stabilité de quelques descripteurs de forme simples sur des expériences d'imagerie haut-débit. Enfin, nous présentons des applications concrètes de la méthode à des problématiques biologiques réelles, réalisées en collaboration avec d'autres équipes de l'Institut Pasteur de Corée.
Les modèles déformables, également connus sous le nom de contours actifs, font actuellement partie des méthodes de pointe en analyse d'images pour la segmentation et le suivi d'objets grâce à leur robustesse, leur flexibilité et leur représentation à haut niveau sémantique des entités recherchées. Afin de les adapter à notre problématique, nous devons faire face à diverses difficultés. Tout d'abord, les méthodes existantes se réfèrent souvent aux variations locales d'intensité (ou gradients) de l'image pour détecter le contour des objets recherchés. Cette approche est inefficace en microscopie tridimensionnelle par fluorescence, où les gradients sont très peu prononcés selon l'axe de profondeur de l'image. Ensuite, nous devons gérer le suivi d'objets multiples susceptibles d'entrer en contact en évitant leur confusion. Enfin, nous devons mettre en place un système permettant de visualiser efficacement les contours durant leur déformation sans altérer les temps de calcul.
Dans la première partie de ce travail, nous pallions à ces problèmes en proposant un modèle de segmentation et de suivi multi-objets basé sur le formalisme des lignes de niveaux (ou level sets) et exploitant la fonctionnelle de Mumford et Shah. La méthode obtenue donne des résultats quantitatifs satisfaisants, mais ne se prête pas efficacement au rendu 3D de la scène, pour lequel nous sommes tributaires d'algorithmes dédiés à la reconstruction 3D (e.g. la méthode des "Marching Cubes"), souvent coûteux en mémoire et en temps de calcul. De plus, ces algorithmes peuvent induire des erreurs d'approximation et ainsi entraîner une mauvaise interprétation des résultats.
Dans la seconde partie, nous proposons une variation de la méthode précédente en remplaçant le formalisme des lignes de niveaux par celui des maillages triangulaires, très populaire dans le domaine de la conception assistée par ordinateur (CAO) pour leur rendu 3D rapide et précis. Cette nouvelle approche produit des résultats quantitatifs équivalents, en revanche le formalisme des maillages permet d'une part de réduire considérablement la complexité du problème et autorise d'autre part à effectuer un rendu 3D précis de la scène parallèlement au processus de segmentation, réduisant d'autant plus les temps de calculs.
Les performances des deux méthodes proposées sont d'abord évaluées puis comparées sur un jeu de données simulées reproduisant le mieux possible les caractéristiques des images réelles. Ensuite, nous nous intéressons plus particulièrement à l'évaluation de la méthode par maillages sur des données réelles, en évaluant la robustesse et la stabilité de quelques descripteurs de forme simples sur des expériences d'imagerie haut-débit. Enfin, nous présentons des applications concrètes de la méthode à des problématiques biologiques réelles, réalisées en collaboration avec d'autres équipes de l'Institut Pasteur de Corée.
Loading...