Automatic reconstruction and analysis for relighting image-based objects
Reconstruction et analyse automatiques pour le rééclairage d'objets basés-image
Résumé
Relighting real objects from images is a difficult problem since a lot of parameters have to be estimated. Nevertheless such an operation is essential for integrating real objects into virtual scenes, for instance in the context of movies, advertisements or video games. The work proposed in this report describes a methodology for automatically reconstructing all stages of real objects estimation : object acquisition, geometry reconstruction, light sources detection, reflectance recovery and relighting. The objects we use are only represented by a series of calibrated images, they can be composed by diffuse, glossy surfaces and textures. The acquisition system, composed by a digital camera and a turntable, is robust and no additional object or pattern is used during the acquisition phase. We reconstruct a discrete geometric model and a triangular mesh having similar topological properties (closed surface, number of connected components). Multiple ponctual and directionnal light sources can be detected. Surface reflectance properties are estimated on each mesh by a parametric BRDF model. The estimated information is used for visualizing objects with new illumination conditions. New images are produced in a few seconds with a ray-tracing method.
Le rééclairage d'objets réels à partir d'images est un problème difficile à traiter car il implique l'estimation d'un nombre important de paramètres. Néanmoins le rééclairage de tels objets est indispensable pour une intégration de manière réaliste dans un environnement comportant des conditions d'illumination différentes de celles présentes lors de l'acquisition. Le travail proposé dans ce mémoire décrit une méthodologie de reconstruction automatique de toute la chaîne d'analyse : il couvre tous les aspects allant de la reconstruction géométrique à l'estimation de la réflectance de la surface en passant par la détection de sources lumineuses. Les seules données nécessaires à l'application de cette méthode sont de multiples points de vue de l'objet acquis sous des conditions d'illumination fixes et les paramètres de la caméra. Aucun objet additionnel n'est présent sur les images et la surface de l'objet basé-image peut être diffuse, spéculaire et/ou texturée. Nous avons mis en place un système d'acquisition robuste constitué d'un appareil photographique grand marché et d'un plateau tournant. Notre modèle géométrique reconstruit permet de passer d'un modèle discret à un modèle triangulé sans perte d'information topologique (propriétés de fermeture et nombre de composantes connexes conservés). De multiples sources ponctuelles et directionnelles sont détectées et la réflectance des objets est estimée sur chaque maille par un modèle de BRDF paramétrique. Nous utilisons les données reconstruites pour visualiser les objets avec de nouvelles conditions d'illumination. La version actuelle permet de générer de nouvelles images en quelques secondes avec une méthode de lancer de rayons.
Loading...