Aggregation Framework and Patch-Based Image Representation for Optical Flow
Méthode d'Agrégation et Représentation d'Images par Motifs pour le Flot Optique
Résumé
This thesis is concerned with dense motion estimation in image sequences, also known as optical flow. Usual approaches exploit either local parametrization or global regularization of the motion field. We explore several ways to combine these two strategies, to overcome their respective limitations.
We first address the problem in a global variational framework, and consider local filtering of the data term. We design a spatially adaptive filtering optimized jointly with motion, to prevent over-smoothing induced by the spatially constant approach.
In a second part, we propose a generic two-step aggregation framework for optical flow estimation. The most general form is a local computation of motion candidates, combined in the aggregation step through a global model. Large displacements and motion discontinuities are efficiently recovered with this scheme. We also develop a generic exemplar-based occlusion handling to deal with large displacements. Our method is validated with extensive experiments in computer vision benchmarks. We demonstrate the superiority of our method over state-of-the-art on sequences with large displacements.
Finally, we adapt the previous methods to biological imaging issues. Estimation and compensation of large local intensity changes frequently occurring in fluorescence imaging are efficiently estimated and compensated with an adaptation of our aggregation framework. We also propose a variational method with local filtering dedicated to the case of diffusive motion of particles.
Nous nous intéressons dans cette thèse au problème de l’estimation dense du mouvement dans des séquences d’images, également désigné sous le terme de flot optique. Les approches usuelles exploitent une paramétrisation locale ou une régularisation globale du champ de déplacement. Nous explorons plusieurs façons de combiner ces deux stratégies, pour surmonter leurs limitations respectives.
Nous nous plaçons dans un premier temps, dans un cadre variationnel global, et considérons un filtrage local du terme de données. Nous proposons un filtrage spatialement adaptatif, optimisé conjointement au mouvement, pour empêcher le sur-lissage induit par le filtrage spatialement constant.
Dans une seconde partie, nous proposons un cadre générique d’agrégation pour lestimation du flot optique. Sous sa forme générale, il consiste en une estimation locale de candidats de mouvements, suivie de leur combinaison à l’étape d’agrégation avec un modèle global. Ce schéma permet une estimation efficace des grands déplacements et des discontinuités de mouvement. Nous développons également une méthode générique de gestion des occultations. Notre méthode est validée par une analyse expérimentale poussée sur les bases de données de référence en vision par ordinateur. Nous démontrons la supériorité de notre méthode par rapport à l’état de l’art sur les séquences contenant de grands déplacements.
La dernière partie de la thèse est consacrée à l’adaptation des approches précédentes à des problématiques d’imagerie biologique. Les changements locaux importants d’intensité produits en imagerie de fluorescence sont estimés et compensé par une adaptation de notre schéma d’agrégation. Nous proposons également une méthode variationnelle avec filtrage local dédiée au cas de mouvements diffusifs de particules.