Contributions to determination of optical flow using the calculus of variations techniques: modeling the spatial and the temporal information.
Contributions aux méthodes variationnelles pour le calcul du flot optique: prise en compte des informations spatiales et temporelles
Résumé
These works are concerned with the issue of ill-posed image processing problems solved using the calculus of variation formulation. We investigate mainly the problems of optical flow determination and the 3D recovering from 2D image sequences. As these problems are ill-posed, a unique solution can be retrieved using spatial regularization techniques. We then propose to introduce alternative constraints in order to moderate the influence of the regularization. These constraints are deduced from heuristics on the experimental conditions. In a first chapter, we examine a study case in biological images. Spherical structures simulating cellular membranes are observed from a focal microscope. The spherical topology is taken into account in order to improve image processing tasks such as segmentation, optical flow estimation or tracking. The information is then used to recover 3D images from the 2D images. In a second chapter, we propose to deal with the temporal information within the image sequences. This information is first modeled as an evolution on the state (the quantity to determine) and the difficulty is to solve this equation with the equations linking the state and the images. To this end, we use the variational data assimilation framework. Without specific knowledge on the dynamics we consider a generic evolution equation and an error on this latter. Although the evolution equation is a rough approximation, we show the optical flow can be determined without spatial regularization. If the noisy or missing observations can be identified, we propose a simple way to evict these data in the computation of the solution and to provide a coherent solution, using the evolution equation. In a last chapter, we briefly describe another research works: resolution of non-linear variational image processing problems, ground occupation analyzing using high resolution satellite images and the tracking of targets.
Dans ces travaux nous nous intéressons aux formulations variationnelles pour résoudre des problèmes mal posés du traitement d'images. Nous nous focalisons principalement sur le calcul du flot optique dans les séquences d'images ainsi que la reconstruction 3D à partir d'une séquence d'images 2D. Comme ces problèmes sont mal posés au sens où ils sont sous-contraints, on utilise souvent des techniques de régularisation spatiale pour obtenir l'unicité de la solution. Nous nous proposons d'introduire d'autres contraintes dans la formulation du problème pour limiter l'importance de cette régularisation, voire pour la supprimer complètement. Ces contraintes sont dérivées des informations a priori sur les conditions expérimentales. Dans un premier chapitre, nous examinons un cas d'étude tiré de l'imagerie biologique: il s'agit d'acquisitions multi-focales de vésicules géantes, nous en exploitons alors la topologie sphérique pour divers problèmes tels que le suivi, la segmentation, l'estimation du flot optique et la reconstruction 3D. Ces contraintes sont donc d'ordre spatiales. Dans un second chapitre, nous étudions la possibilité de tirer partie de l'information temporelle présente dans les séquences d'images. Cette information est alors modélisée par une équation d'évolution. La difficulté à lever est de résoudre conjointement cette équation et les contraintes qui dérivent du problème de traitement d'images. Nous utilisons alors le formalisme de l'assimilation variationnelle de données dans une formulation dite ``faible'' car nous attribuons une erreur sur l'équation d'évolution. Bien que l'équation d'évolution décrive imparfaitement la dynamique, nous montrons que l'on peut résoudre le problème mal posé de l'estimation du flot optique sans recourir à la régularisation. Nous montrons également que lorsque les informations sont manquantes, il est possible de fournir une estimation réaliste du flot optique, ceci permet de gérer les cas difficiles d'occultations. Enfin, dans un dernier chapitre, nous résumons des travaux parallèles portant sur la résolution variationnelle de problèmes non linéaires de traitement d'images, des travaux sur l'occupation des sols en imagerie satellitaire haute définition et enfin sur le suivi multi-cibles.