Object tracking for aerial images
Suivi d'objets en imagerie aérienne
Résumé
This thesis results from a CIFRE collaboration with Thales Optronique, a compnay which develops airborne systems for "laser guided armaments". The operating mode used by these systems requires on behalf of the pilot an important workload. The objective of this thesis is to reduce this responsibility, by making the current trackers more robust to the three dimensional effects, in particular in the presence of reliefs.
The main theme of this thesis is the tracking of objects from aerial images. We want to extract some three dimensional information from video sequences in order to improve the existing algorithms. For that purpose, we place ourselves in a Bayesian framework and formulate the tracking problem by means of a particle filter. We set up three algorithms: The first one is based on geometrical models (that can be 2D or 3D), that we combine with a particle filter. We add a supplementary stage to the classical particle filter, allowing us to change model when the algorithm judges it necessary. And the last one combines both precedents; the integration of histograms and contour information in a particle filter allows not only to have a more robust tracker, but also to take into account the 3D real information of the observed scene.
An evaluation protocol has been set up to estimate the performances of these algorithms. Results illustrate the performances of these algorithms.
The main theme of this thesis is the tracking of objects from aerial images. We want to extract some three dimensional information from video sequences in order to improve the existing algorithms. For that purpose, we place ourselves in a Bayesian framework and formulate the tracking problem by means of a particle filter. We set up three algorithms: The first one is based on geometrical models (that can be 2D or 3D), that we combine with a particle filter. We add a supplementary stage to the classical particle filter, allowing us to change model when the algorithm judges it necessary. And the last one combines both precedents; the integration of histograms and contour information in a particle filter allows not only to have a more robust tracker, but also to take into account the 3D real information of the observed scene.
An evaluation protocol has been set up to estimate the performances of these algorithms. Results illustrate the performances of these algorithms.
Cette thèse résulte d'une collaboration CIFRE avec Thalès Optronique, société qui conçoit et développe des systèmes de désignation aéroportés pour des armements guidés laser. Le mode opératoire utilisé par ces systèmes requiert de la part du pilote une charge de travail importante. L'objectif de cette thèse est d'alléger cette charge, en rendant les systèmes de suivi actuels plus robustes face à des effets de perspective.
Le thème principal de cette thèse est donc le suivi d'objets à partir d'images aériennes. Nous souhaitons utiliser la faisabilité d'une extraction d'information 3D à partir de séquences vidéo afin d'améliorer les algorithmes de suivi de matériels aéroportés existants. Pour cela, nous nous plaçons dans un cadre bayésien et formulons le suivi de manière probabiliste, au moyen d'un filtre particulaire. Nous avons mis en place trois algorithmes:
Le premier est basé sur des histogrammes de couleurs, que l'on combine à un filtrage particulaire;
c'est un suivi purement 2D dans le sens où aucune information 3D réelle de la scène est utilisée.
Le second est basé sur des modèles géométriques (qui peuvent être 2D ou 3D), que l'on combine à un filtrage particulaire. Nous ajoutons une étape supplémentaire au filtrage particulaire classique, nous permettant de changer de modèle lorsque l'algorithme le juge nécessaire.
Enfin, le dernier algorithme combine les deux précédents; l'intégration d'histogrammes de couleurs et d'informations de contours dans un filtre particulaire permet non seulement de rendre le suivi d'objets plus robuste, mais aussi de prendre en compte de l'information 3D réelle de la scène observée.
Un protocole d'évaluation a été mis en place pour évaluer les performances de ces algorithmes. Des résultats illustrent les performances de ces algorithmes.
Le thème principal de cette thèse est donc le suivi d'objets à partir d'images aériennes. Nous souhaitons utiliser la faisabilité d'une extraction d'information 3D à partir de séquences vidéo afin d'améliorer les algorithmes de suivi de matériels aéroportés existants. Pour cela, nous nous plaçons dans un cadre bayésien et formulons le suivi de manière probabiliste, au moyen d'un filtre particulaire. Nous avons mis en place trois algorithmes:
Le premier est basé sur des histogrammes de couleurs, que l'on combine à un filtrage particulaire;
c'est un suivi purement 2D dans le sens où aucune information 3D réelle de la scène est utilisée.
Le second est basé sur des modèles géométriques (qui peuvent être 2D ou 3D), que l'on combine à un filtrage particulaire. Nous ajoutons une étape supplémentaire au filtrage particulaire classique, nous permettant de changer de modèle lorsque l'algorithme le juge nécessaire.
Enfin, le dernier algorithme combine les deux précédents; l'intégration d'histogrammes de couleurs et d'informations de contours dans un filtre particulaire permet non seulement de rendre le suivi d'objets plus robuste, mais aussi de prendre en compte de l'information 3D réelle de la scène observée.
Un protocole d'évaluation a été mis en place pour évaluer les performances de ces algorithmes. Des résultats illustrent les performances de ces algorithmes.