Recognition and retrieval tasks in large quasi-unannotated surgical video databases

Reconnaissance et fouille dans une grande base de vidéos endoscopiques quasi-non annotée

Tong Yu (1)

1 ICube - Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie

Endoscopic video streams, as rich sources of information on the operating field, show great potential for exploitation by deep learning-based computer vision algorithms. Such algorithms can indeed serve as the foundation for context-aware surgery systems, capable of improving clinical outcomes by assisting surgeons during interventions. However this approach would require, under ordinary circumstances of full supervision, vast quantities of annotated recordings. While video data is abundant in endoscopy, annotations are highly scarce, which calls for alternative solutions using unannotated videos. We first propose a semi-supervised surgical phase recognition method, where an offline teacher model automatically labels data for a real-time model. We then move from recognition to video retrieval tasks, with self-supervised methods capable of continuously scanning large video databases for content visually matching a video live stream.

Les flux vidéos endoscopiques, riches en informations sur le site opératoire, ont un fort potentiel pour alimenter des algorithmes de vision fondés sur l’apprentissage profond. Ces algorithmes peuvent en effet opérer au sein de systèmes de chirurgie assistée par ordinateur, capables d’améliorer la qualité de vie des patients. Cependant, dans les conditions classiques de supervision complète, cette approche nécessiterait de vastes quantités de vidéos annotées. Or les annotations, contrairement aux vidéos elles-mêmes, sont rares, incitant ainsi à des méthodes utilisant des vidéos non-annotées. Nous proposons d’abord une méthode semi-supervisée de reconnaissance de phase, générant des annotations automatiques pour un modèle opérant en temps réel. Nous passons ensuite de la reconnaissance à la fouille de vidéos, avec des méthodes auto-supervisées recherchant en direct du contenu similaire à un flux vidéo au sein d’une grande base de données.

Mots clés: Deep learning; Computer vision; Retrieval; Hashing; Self-supervised learning; Semi-supervised learning; Endoscopy

Mots clés: Apprentissage profond; Vision par ordinateur; Fouille; Hachage; Apprentissage auto-supervisé; Apprentissage semi-supervisé; Endoscopie

Domaines: Bio-informatique [q-bio.QM]

Tong Yu. Recognition and retrieval tasks in large quasi-unannotated surgical video databases. Bioinformatics [q-bio.QM]. Université de Strasbourg, 2021. English. ⟨NNT : 2021STRAD051⟩. ⟨tel-03884631⟩