Object Detection in Aerial Images in Scarce Data Regimes

Détection d'objets dans des images aériennes en cas de faible supervision

Pierre Le Jeune (1)

1 L2TI - Laboratoire de Traitement et Transport de l'Information

Most contributions on Few-Shot Object Detection (FSOD) evaluate their methods on natural images only, yet the transferability of the announced performance is not guaranteed for applications on other kinds of images. We demonstrate this with an in-depth analysis of existing FSOD methods on aerial images and observed a large performance gap compared to natural images. Small objects, more numerous in aerial images, are the cause for the apparent performance gap between natural and aerial images. As a consequence, we improve FSOD performance on small objects with a carefully designed attention mechanism. In addition, we also propose a scale-adaptive box similarity criterion, that improves the training and evaluation of FSOD methods, particularly for small objects. We also contribute to generic FSOD with two distinct approaches based on metric learning and fine-tuning. Impressive results are achieved with the fine-tuning method, which encourages tackling more complex scenarios such as Cross-Domain FSOD. We conduct preliminary experiments in this direction and obtain promising results. Finally, we address the deployment of the detection models inside COSE's systems. Detection must be done in real-time in extremely large images (more than 100 megapixels), with limited computation power. Leveraging existing optimization tools such as TensorRT, we successfully tackle this engineering challenge.

La plupart des contributions en Détection d'Objets \textit{Few-Shot} (FSOD) évaluent leurs méthodes uniquement sur des images naturelles, ne garantissant pas la transférabilité de leur performance à d'autres types d'images. Nous démontrons ceci avec une analyse des méthodes FSOD existantes sur des images aériennes et observons un large écart comparé aux images naturelles. Les petits objets, plus nombreux dans les images aériennes, sont responsables de cet écart. Ainsi, nous proposons d'améliorer la détection des petits objets avec un mécanisme d'attention dédié. En plus, nous proposons un nouveau critère de similarité pour boîtes englobantes, adaptatif à la taille. Il améliore l'entraînement et l'évaluation des modèles FSOD, en particulier pour les petits objets. Nous contribuons aussi au FSOD classique avec deux approches distinctes basées sur le \textit{metric learning} et le \textit{fine-tuning}. Des résultats impressionnants sont obtenus avec cette dernière méthode, ce qui encourage son application à des scénarios plus complexes comme la détection \textit{Few-Shot} \textit{Cross-Domain}. Finalement, nous abordons le déploiement de modèles de détection au sein des systèmes de COSE qui doivent détecter les objets en temps réel sur de très grandes images (plus de 100 mégapixels), avec des ressources de calcul limitées.

Mots clés: Object Detection; Few-Shot Learning; Few-Shot Object Detection; Cross-Domain Adaptation; Deep Learning; Computer Vision; Intersection over Union; Attention Mechanism; Diffusion; Query-Support Alignment

Mots clés: Détection d'objet; Apprentissage profond; Apprentissage frugal; Adaptation au domaine; Mécanisme d'attention; Diffusion; \textit{Intersection over Union}; Alignement query-support

Domaines: Informatique [cs]; Vision par ordinateur et reconnaissance de formes [cs.CV]; Apprentissage [cs.LG]

Pierre Le Jeune. Object Detection in Aerial Images in Scarce Data Regimes. Computer Science [cs]. Université Sorbonne Paris Nord, 2023. English. ⟨NNT : ⟩. ⟨tel-04243994⟩