Detection and 3D positionning for vision based guidance : contributions and applications to medical robotics
Détection et Positionnement 3D pour le Guidage par Vision : Contributions et applications à la robotique médicale
Résumé
Les développements récents de la robotique et des technologies d'imagerie médicale pré- et per-opératoires ont permis de réaliser des progrès considérables dans l'assistance aux gestes médicaux et chirurgicaux. Ces progrès, qui associent également de nouvelles techniques, permettent d'envisager de nouvelles formes d'interventions chirurgicales, de moins en moins invasives et de plus en plus sûres, mais aussi de prévoir une meilleure planification de ces interventions. Je présente dans ce mémoire les activités de recherches scientifiques dont le thème principal est le guidage d'instruments de chirurgie par vision, activités menées à la fois dans l'équipe Automatique, Vision et Robotique (AVR) du LSIIT (UMR CNRS-ULP 7005) et également en collaboration avec d'autres acteurs de la recherche au sein du consortium Imagerie et Robotique Médicale et Chirurgicale (IRMC), à Strasbourg, en particulier avec ceux de l'Institut de Recherche contre les Cancers de l'Appareil Digestif (IRCAD). Plus généralement, les activités présentées ainsi que leur synthèse, seront concentrées autour de la perception visuelle de scènes dynamiques, et inclueront : - le recalage et le positionnement 3-D à partir de plusieurs types de dispositifs d'imagerie, - la vision active, l'endoscopie active, - les asservissements visuels en robotique, - la segmentation d'indices visuels géométriques dans des environnements non maîtrisés, en temps réel, pour des objets d'intérêt marqués et non marqués. Pour résumer la part essentielle de ces travaux, le problème de l'estimation de pose et plus généralement du recalage 2-D/3-D rigide sera donc abordé en empruntant plusieurs approches et différentes représentations, en fonction du contexte. Que ce soit à partir du filtre estimateur de Kalman avec des primitives géométriques non-linéaires, ou à partir des invariants projectifs avec des spots lasers et des marqueurs optiques, ou encore par une approche d'optimisation numérique basée sur les asservissements visuels virtuels et combinant des primitives géométriques différentes, de la modélisation des quadriques dégénérées pour la pose des instruments cylindriques, ou finalement qu'il s'agisse du recalage stéréotaxique par une estimation robuste avec des primitives linéaires, le recalage 2-D/3-D rigide sera exposé, pour plusieurs types de dispositifs d'imagerie (caméra classique, caméra endoscopique, scanner à rayons X). Des applications telles que la commande de robot par vision laparoscopique, l'assistance informatique et robotique de la suture ou encore le positionnement automatique d'aiguille de radio-fréquence en radiologie interventionnelle viendront illustrer et animer cet exposé. Le guidage 3-D sera également décrit par l'approche du suivi visuel pouvant être mis en oeuvre dans un environnement complexe (sous quelques hypothèses) sans passer par une étape de recalage, en tenant compte des contraintes de mouvements inhérentes à la chirurgie laparoscopique. Il permet d'effectuer, dans ce cas, un positionnement relatif d'un instrument ou d'un endoscope et offre une assistance au chirurgien, par exemple, par le suivi automatique d'une surface des organes de l'abdomen à l'aide d'un endoscope articulé ou la récupération d'instruments. La présentation se poursuivra par un bilan et finira par l'exposé de perspectives suggérant des orientations de recherches dans ce domaine fortement multidisciplinaire, en particulier, dans la gestion des tâches visuelles en vision robotique, dans une meilleure compréhension des déformations des tissus vivants ainsi que de leurs interactions avec les instruments de chirurgie, ou encore dans l'apport de la vision active codée à l'endoscopie rigide et flexible.