Description, deployment and optimization of medical image analysis workflows on production grids
Description, déploiement et optimisation de chaînes de traitements d'analyse d'images médicales sur grilles de production
Résumé
Grids are interesting platforms for supporting the development of medical image analysis applications: they enable data and algorithms sharing and provide huge amounts of computing power and data storage. In this thesis, we investigate a medical image analysis problem that turns out to be a typical dimensioning application for grids, thus leading to develop new workflow description, implementation and optimization methods and tools. The basic application problem is the evaluation of medical image registration algorithms in absence of ground truth. Results obtained with a statistical method applied to a registration problem dealing with the follow-up of brain tumors in radiotherapy are presented. Those results allow to detect subtle flaws among the data. We extend this validation scheme in order to quantify the impact of lossy image compression on registration algorithms. This application is representative of typical grid problems so that we study its deployment and execution on such infrastructures. We adopt a generic workflow model to ease the application parallelization on a grid infrastructure. A novel taxonomy of workflow approaches is presented. Based on it, we select a suitable workflow language and we design and implement MOTEUR, an enactor exploiting all the parallelism levels of workflow applications. A new data composition operator is also defined, easing the description of medical image analysis applications on grids. Benchmarks on the EGEE production grid compared to controlled conditions on Grid'5000 reveal that the grid latency and its variability lead to strong performance drops. Therefore, we propose a probabilistic model of the execution time of a grid workflow. This model is user-centric: the whole grid is considered as a black-box introducing a random latency on the execution time of a job. Based on this model, we propose three optimization strategies aiming at reducing the impact of the grid latency and of its variability: grouping sequentially linked jobs reduces the mean latency faced by a workflow, optimizing the timeout value of jobs reduces the impact of outliers and optimizing the jobs granularity reduces the risk to face high latencies. Significant speed-up are yielded by those strategies.
En permettant le partage à grande échelle de données et d'algorithmes et en fournissant une quantité importante de puissance de calcul et de stockage, les grilles de calcul sont des plates-formes intéressantes pour les applications d'analyse d'images médicales. Dans cette thèse, nous étudions un problème d'analyse d'images médicales qui s'avère être une application dimensionnante pour les grilles, conduisant au développement de nouvelles méthodes et outils pour la description, l'implémentation et l'optimisation de flots de traitements. Le problème applicatif étudié est l'évaluation de la précision d'algorithmes de recalage d'images médicales en l'absence de vérité terrain. Nous faisons passer à l'échelle une méthode statistique d'évaluation de ces algorithmes et nous montrons des résultats de précision sur une base de données liée au suivi de la radiothérapie du cerveau. Ces résultats permettent notamment de détecter des défauts très légers au sein des données. Nous étendons ce schéma pour quantifier l'impact de la compression des images sur la qualité du recalage. Cette application étant représentative de problèmes typiques survenant sur les grilles, nous nous attachons à son déploiement et à son exécution sur ce type d'infrastructures. Pour faciliter une parallélisation transparente, nous adoptons un modèle générique de flots de traitements, dont nous proposons une nouvelle taxonomie. Pour répondre aux limitations de performance des moteurs d'exécution de flots existants, nous présentons MOTEUR, qui permet d'exploiter les différents types de parallélisme inhérents à ces applications. La définition d'un nouvel opérateur de composition de données facilite la description des applications d'analyse d'images médicales sur les grilles. Par une comparaison entre la grille de production EGEE et des grappes dédiées de Grid'5000, nous mettons en évidence l'importance de la variabilité de la latence sur une grille de production. En conséquence, nous proposons un modèle probabiliste du temps d'exécution d'un flot de traitement sur une grille. Ce modèle est centré sur l'utilisateur : il considère la grille toute entière comme une boîte noire introduisant une latence aléatoire sur le temps d'exécution d'une tâche. A partir de ce modèle, nous proposons trois stratégies d'optimisation visant à réduire l'impact de la latence et de sa variabilité : dans un flot de traitement, grouper les tâches séquentiellement liées permet de réduire la latence moyenne rencontrée, optimiser la valeur du délai d'expiration des tâches prémunit contre les valeurs extrêmes de la latence et optimiser la granularité des tâches permet de réduire le risque de rencontrer de fortes latences. Des accélérations significatives sont ainsi obtenues.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...