An augmented reality system to guied liver percutaneous punctures
Un système de réalité augmentée pour guider les opérations du foie en radiologie interventionnelle
Résumé
In the interventional radiology field, the medical expert needs several CT-scan acquisitions (2D slices) to reach the target during a percutaneous puncture in the abdominal area. We aim at designing a guidance system to reduce the number of CT acquisition and thus, the intervention duration. We propose an augmented reality system that superimposes preoperative 3D reconstructions of the patient abdominal structures in external video images of his/her body. This system will not only have to be accurate, quick and reliable, but will also have to be easily introduced in the operative room.
In our case, the patient is intubated and the breathing is controlled. Therefore, we can neglect breathing motion: a rigid 3D/2D registration of radio-opaque markers is sufficient to obtain the necessary accuracy. Since statistical assumptions of existing 3D/2D registration criteria do not fit our application, we derived a new criterion generalizing classical methods. A rigorous evaluation of the performances showed the superiority of our approach in terms of accuracy and robustness.
To reach real-time processing in the operative room, we developed and validated several algorithms to automatically extract and match radio-opaque markers. Since the system accuracy depends on numerous factors (camera position, marker number...), it is not possible to calculate it beforehand. To provide a reliable system, we propose a technique of covariance propagation that enables to estimate the superimposition error of reconstructed models. A rigorous validation step on synthetic and real data showed that our prediction is correct in our conditions.
All the different parts of the system being validated, we perform an evaluation of the whole system on an abdominal phantom. Results proved the feasibility and the interest of the system: four surgeons managed to reach emboddied targets with an average accuracy under 2 mm. Moreover, the time needed for the needle positioning was ten times under classical interventional duration. Finally, several clinical experiments on patients showed that our system can be used in the operating room and suggest that this system could be used routinely in a near future.
In our case, the patient is intubated and the breathing is controlled. Therefore, we can neglect breathing motion: a rigid 3D/2D registration of radio-opaque markers is sufficient to obtain the necessary accuracy. Since statistical assumptions of existing 3D/2D registration criteria do not fit our application, we derived a new criterion generalizing classical methods. A rigorous evaluation of the performances showed the superiority of our approach in terms of accuracy and robustness.
To reach real-time processing in the operative room, we developed and validated several algorithms to automatically extract and match radio-opaque markers. Since the system accuracy depends on numerous factors (camera position, marker number...), it is not possible to calculate it beforehand. To provide a reliable system, we propose a technique of covariance propagation that enables to estimate the superimposition error of reconstructed models. A rigorous validation step on synthetic and real data showed that our prediction is correct in our conditions.
All the different parts of the system being validated, we perform an evaluation of the whole system on an abdominal phantom. Results proved the feasibility and the interest of the system: four surgeons managed to reach emboddied targets with an average accuracy under 2 mm. Moreover, the time needed for the needle positioning was ten times under classical interventional duration. Finally, several clinical experiments on patients showed that our system can be used in the operating room and suggest that this system could be used routinely in a near future.
En radiologie interventionnelle, le praticien se sert actuellement de plusieurs acquisitions scanner (coupes 2D) pour pouvoir atteindre sa cible au cours d'une ponction percutanée dans la zone abdominale. Notre objectif est de concevoir un système de guidage minimisant ces acquisitions et donc le temps de l'intervention. Pour cela, nous proposons un système de réalité augmentée superposant des reconstructions 3D pré-opératoires des structures abdominales du patient dans des images vidéo externes de son corps. En plus d'être précis, rapide et fiable, cet outil devra pouvoir être introduit aisément en salle d'opération.
Dans notre cas, le patient est intubé et sa ventilation contrôlée, nous pouvons donc négliger les effets de la respiration : un recalage rigide 3D/2D de marqueurs radio-opaques collés sur la peau est suffisant pour atteindre la précision requise. Les hypothèses statistiques des critères classiques n'étant pas adéquates pour notre application, nous avons dérivé un nouveau critère généralisant les approches standard. Une évaluation rigoureuse des performances démontre la supériorité de notre méthode en terme de précision et de robustesse.
Pour atteindre le temps réel en salle d'opération, nous avons ensuite développé un ensemble d'algorithmes d'extraction et de mise en correspondance des marqueurs radio-opaques dont nous avons validé la robustesse sur de nombreuses images réelles. La précision du système dépendant de nombreux paramètres (nombre de marqueurs radio-opaques, position des caméras...), elle ne peut pas être établie préalablement de manière définitive. Afin de fournir un système fiable, nous proposons donc une technique de propagation des covariances qui permet d'estimer dynamiquement l'erreur de repositionnement des modèles reconstruits. Une phase de validation méticuleuse, sur des données synthétiques et réelles, démontre que notre prédiction est fiable dans les conditions de notre application.
Après cette validation de chacun des modules, nous montrons la faisabilité et l'intérêt de notre système complet en menant une évaluation sur un mannequin : quatre chirurgiens ont réussi à atteindre des cibles en des temps dix fois inférieurs à ceux usuellement nécessaires pour ce type d'intervention et avec une précision supérieure. Finalement, plusieurs expériences cliniques sur des patients démontrent que notre système est utilisable en salle d'opération et suggèrent son utilisation en routine dans un futur proche.
Dans notre cas, le patient est intubé et sa ventilation contrôlée, nous pouvons donc négliger les effets de la respiration : un recalage rigide 3D/2D de marqueurs radio-opaques collés sur la peau est suffisant pour atteindre la précision requise. Les hypothèses statistiques des critères classiques n'étant pas adéquates pour notre application, nous avons dérivé un nouveau critère généralisant les approches standard. Une évaluation rigoureuse des performances démontre la supériorité de notre méthode en terme de précision et de robustesse.
Pour atteindre le temps réel en salle d'opération, nous avons ensuite développé un ensemble d'algorithmes d'extraction et de mise en correspondance des marqueurs radio-opaques dont nous avons validé la robustesse sur de nombreuses images réelles. La précision du système dépendant de nombreux paramètres (nombre de marqueurs radio-opaques, position des caméras...), elle ne peut pas être établie préalablement de manière définitive. Afin de fournir un système fiable, nous proposons donc une technique de propagation des covariances qui permet d'estimer dynamiquement l'erreur de repositionnement des modèles reconstruits. Une phase de validation méticuleuse, sur des données synthétiques et réelles, démontre que notre prédiction est fiable dans les conditions de notre application.
Après cette validation de chacun des modules, nous montrons la faisabilité et l'intérêt de notre système complet en menant une évaluation sur un mannequin : quatre chirurgiens ont réussi à atteindre des cibles en des temps dix fois inférieurs à ceux usuellement nécessaires pour ce type d'intervention et avec une précision supérieure. Finalement, plusieurs expériences cliniques sur des patients démontrent que notre système est utilisable en salle d'opération et suggèrent son utilisation en routine dans un futur proche.