Image-Based Capture and Rendering with Applications to Urban Planning
Capture et Rendu à Base d'Images avec Application aux Projets Urbains
Résumé
This thesis addresses the capture real objects to be integrated in a virtual environment and their efficient display. The thesis has two parts; in the first part, we present two new methods for the capture and rendering real objects using image-based techniques, and in the second part, we present an complete virtual reality system that allows the use of different realistic techniques for the design of urban projects, as well as a first evaluation of this system. The first method proposed allows the capture of a real scene with relatively simple geometry, for example building façades. The capture is done using an small number of photographs. With this method the captured objects have a compact representation; the work of the computer graphics artist is simplified to allow higher quality render and the rendering method does not need geometric subdivision as in previous methods. The second method proposed is for the capture of complex objects, in our case trees, using as input a series of photographs taken around the object. A first estimation of opacities is done with a method inspired by tomography, that give us a volumetric representation of the tree. The high frequency detail of the leaves is added by an algorithm of texture generation using the original images. The result is a very realistic rendering of real captured trees, that can be added in a virtual environment. The virtual reality system presented in the second part of the thesis integrates image-based rendering methods, and other algorithms for the realistic rendering (shadows, 3D sound, etc.). The multi platform system works on systems such as the Workbench of the INRIA Sophia-Antipolis or the RealityCenter of the CSTB. Our work on this real world project, the construction of the Tramway of Nice (France), allowed us to evaluate the choices on realism and the interface of the system. The architects in charge of the Tramway project on the Garibaldi square in Nice performed a set of test, and we present here the first conclusions of our observation.
Cette thèse traite le problème de la capture des objets réels dans le but de les intégrer dans un environnement de réalité virtuelle et de les afficher (ou les rendre) d'une manière efficace. La thèse a deux parties : dans la première partie, nous présentons deux nouvelles méthodes pour la capture et le rendu des objets réels avec des techniques à base d'images, et dans la deuxième, nous présentons un système intégré de réalité virtuelle qui permet l'utilisation de plusieurs techniques réalistes pour la conception et l'évaluation de projets d'urbanisme. La première méthode proposée permet la capture d'objets réels avec une géométrie relativement simple, comme les façades de bâtiments par exemple. La capture se fait à partir d'un faible nombre de photographies. Avec cette méthode les objets capturés ont une représentation compacte ; le travail des infographistes est facilité pour permettre un affichage de meilleure qualité et enfin la méthode de rendu ne nécessite pas un découpage géométrique des objets, comme c'était le cas pour les méthodes précédentes. La deuxième méthode proposée traite le cas des objets complexes comme les arbres, à partir d'un ensemble de photographies prises autour de l'objet. Une première estimation de l'opacité est effectuée avec une méthode inspirée de la tomographie, ce qui donne une représentation volumique de l'arbre. Ensuite le détail de haute fréquence du feuillage est ajouté par un algorithme de génération de textures à partir des images d'origine. Le résultat est l'affichage très réaliste des arbres réels capturés, qui peuvent être insérés dans des environnements virtuels. Le système de réalité virtuelle présenté dans la deuxième partie de la thèse intègre des méthodes d'affichage à base d'images, ainsi que d'autres algorithmes d'affichage réaliste (ombres, son 3D, etc.). Le système multi plateforme est opérationnel sur des systèmes de réalité virtuelle allant du plan de travail virtuel à l'Inria Sophia-Antipolis jusqu'à la salle RealityCenter du CSTB. Notre travail dans le cadre d'un projet réel, celui du Tramway de Nice, nous a permis d'évaluer nos choix sur le réalisme et l'interface du système. Plusieurs essais ont été effectués avec les architectes responsables du réaménagement de la Place Garibaldi à Nice, et nous présentons ici les premières conclusions de nos observations.