Terrestrial urban imagery : towards a physical method for the estimation of reflectances
Imagerie terrestre urbaine : vers une méthode physique d'estimation de la réflectance
Résumé
Urban terrestrial imagery is widely used through online viewers of street-level images. The MATIS of the French National Geographical and Forester Data Institute (IGN) has developed its own mobile-mapping vehicle, Stereopolis, dedicated to research purposes. In this thesis, we develop a physically-based method to retrieve the reflectance of urban materials from a set of images shot by a mobile-mapping vehicle. This method uses a 3D model of the scene (segmented in areas of homogeneous reflectance, modeled by a parametric formula) and a set of georeferenced and radiometrically corrected images. We present a method for the estimation of the reflectances of the materials by minimizing the difference between real acquired images and simulated images from the same point of view. A modelisation of the physical phenomena leading to the formation of optical images is presented. A code using ray-tracing algortihm is used to compute the radiance at the sensor level. This is the direct problem for our estimation of reflectances. The illumination of the scene must be an input of this simulation tool; now, in a typical urban mobile-mapping acquisition neither atmospheric nor radiometric measurements are performed, that could be used to determine the illumination with a radiative transfer code. We propose an estimation of the illumination using directly the sky pixels in the acquired images. The direct solar irradiance cannot be estimated from the images because of overexposure, but we can use a shadows casted on a dedicated reference plate placed on top of the vehicle. The reflectances estimation is performed by minimizing a cost function; this cost function is the pixel-wise difference between simulated images (with current reflectances parameters) and acquired images. This leads to numerous ray-tracing simulations as the algorithm is iterative due to interreflections between the objects of the scene, that are computed using initial parameters. In order to prevent these costly ray-tracing simulations, we propose a symbolic ray-tracing algorithm that computes the radiance as a symbolic function of the reflectances parameters instead of a numerical value. Then, each iteration of the minimization algorithm is only an evaluation of a symbolic function. Results are shown on synthetic scenes to perform a first validation the estimation method. Using this method on real Stereopolis images remains difficult, mainly due to the radiometric calibration of cameras and the segmentation on the 3D model
L'imagerie terrestre urbaine se développe grâce à la diffusion grand public de visualisateurs immersifs au niveau de la rue. L'objectif de cette thèse est de proposer une méthode physique d'estimation de la réflectance des matériaux d'une scène urbaine à partir des images d'un système mobile d'acquisition, comme par exemple le véhicule d'acquisition Stereopolis, développé au laboratoire MATIS de l'Institut National de l'Information Géographique et Forestière (IGN).Pour cela, on considère que l'on dispose d'un modèle 3D de la scène, segmenté en zones de réflectance homogène (décrite par un modèle paramétrique), d'un jeu d'images géoréférencées corrigées radiométriquement. On propose une méthode d'estimation des réflectances par minimisation de l'écart entre les images réelles acquises par le capteur et des images simulées depuis le même point de vue. Après une modélisation phénoménologique des différentes composantes de la luminance arrivant au niveau d'un capteur imageur dans le domaine visible, une méthode utilisant le lancer de rayons sert à simuler cette luminance. Cela constitue ici le problème direct. Cet outil de simulation nécessite la connaissance de l'illumination de la scène, i.e. la répartition et la puissance des sources de lumière. Pour une acquisition avec Stereopolis, on ne réalise généralement pas de mesures atmosphériques et/ou radiométriques permettant de déterminer l'illumination avec des codes de transfert radiatif ; c'est pourquoi on propose une méthode d'estimation de la luminance du ciel à partir des images, en utilisant les pixels qui voient le ciel. L'éclairement solaire direct, non accessible directement dans les images, est estimé par une méthode ombre-soleil grâce à une plaque de référence placée sur le toit du véhicule. L'algorithme d'inversion du système se fait par minimisation d'une fonction coût constituée par la différence pixel à pixel entre les images simulées avec certains paramètres de réflectance et les images réelles. Cela nécessite de nombreuses simulations par lancer de rayons, car l'algorithme est itératif en raison des réflexions multiples entre les objets qui doivent être calculées avec des paramètres de réflectances initiaux. Afin d'éviter ces très coûteux lancers de rayons, on propose un algorithme de lancer de rayons formel qui stocke la luminance simulée comme des fonctions des paramètres de réflectances au lieu d'une valeur numérique. Cela permet de mettre à jour les images de luminance simulées par simple évaluation de ces fonctions avec le jeu de paramètres courant. La minimisation elle-même est effectuée par la méthode du gradient conjugué. Des résultats sur des scènes synthétiques permettent de faire une première validation de la méthode. Cependant, l'application sur un jeu d'images issues de Stereopolis pose plusieurs difficultés, notamment liées l'étalonnage radiométrique et à la segmentation du modèle 3D utilisé en entrée
Origine : Version validée par le jury (STAR)
Loading...