Augmented Surgery : an Augmented Reality Case Study ; User-Centred Design and Realization
Chirurgie augmentée : un cas de réalité augmentée ; Conception et réalisation centrées sur l'utilisateur
Résumé
The multi-disciplinary work of this thesis results in its contributing to two research domains: Human-Computer Interaction (HCI), in particular Augmented Reality (AR), and Computer Assisted Medical Intervention (CAMI), a concrete application domain of AR. The contribution is twofold: on the one hand, it enriches the HCI design concepts and methods of AR by adopting a task centered point of view; on the other hand it improves the clinical usability of CAMI systems. Merging real and virtual worlds opens a wide range of possibilities for the design of AR systems, such as CAMI systems. However, there is currently no consensus either on a precise definition of AR or on a design space. Within this context, we have identified intrinsic characteristics of AR systems and then developed a classification space. In order to gain an understanding of the duality of interaction, (users interacting with part of the real world and simultaneously with part of the virtual world) we have developed the ASUR notation that describes the interaction. ASUR identifies entities involved in the system, in particular the adapters. The adapters constitute one type of ASUR component, which establishes a bridge between the real and virtual worlds. The notation ASUR constitutes the basis of our ergonomic and software design method for AR systems. Our ergonomic design method is grounded on the translation of ergonomic properties in terms of ASUR, while our software design method is based on the specialization of the PAC-Amodeus software architecture model for AR systems. In collaboration with a surgeon, we have applied and tested our methodological results on a cardiac surgery application, CASPER. It provides the surgeon with on-screen guidance information while performing a pericardial puncture. A new version of CASPER has been designed that implements a see-through head-mounted display, which enables the perception of the guidance information superimposed on the patient.
Les travaux pluridisciplinaires de cette thèse, contribuent à deux domaines : les Interfaces Homme-Machine (IHM), en particulier la Réalité Augmentée (RA), et les Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO), domaine concret de mise en oeuvre de la RA. La contribution est double : d'une part elle enrichit et organise les concepts d'IHM pour la RA en adoptant un point de vue centré sur la tâche, et d'autre part elle améliore l'utilisabilité par les cliniciens des systèmes de GMCAO. La fusion du monde réel et du monde virtuel ouvre des voies nouvelles pour la conception de systèmes de RA, comme les systèmes de GMCAO. Mais les limites sont mal cernées. Dans ce contexte, nous avons identifié des caractéristiques intrinsèques des systèmes de RA et établi un espace taxinomique. Afin de caractériser plus finement la dualité de l'interaction (Utilisateur-Monde Réel et Utilisateur-Monde Virtuel), nous avons défini la notation ASUR. Pour décrire l'interaction, ASUR identifie les entités intervenant dans le système, en particulier les adaptateurs, composants ASUR réalisant le lien entre les deux mondes. L'utilisation d'ASUR, par ces aspects descriptifs, taxinomiques et conceptuels constitue la base de notre démarche de conception ergonomique et logicielle de systèmes de RA. Cette démarche se fonde en outre sur l'étude de propriétés ergonomiques au sein de la description ASUR d'un système et sur l'adaptation du modèle d'architecture PAC-Amodeus aux systèmes de RA. En collaboration avec le chirurgien, nous avons appliqué et testé nos résultats méthodologiques sur une application concrète de chirurgie cardiaque. Cette application, CASPER, assiste le chirurgien lors de la réalisation d'une ponction péricardique, en lui procurant des informations de guidage du geste clinique sur un écran. Une re-conception de CASPER nous a amené à implémenter un casque semi-transparent permettant de visualiser ces informations directement sur le patient.