Radiometric study of a low-cost immersive projection system for mixed reality applications

Étude radiométrique d'un système de projection immersive grand-public pour des applications de réalité mixte

Julien Dehos (1)

1 LISIC - Laboratoire d'Informatique Signal et Image de la Côte d'Opale

The Catopsys system is a projector-miror-camera system which can be set in any room. It is an affordable way (not expensive, easy to install and easy to use) to perform various kinds of immersive mixed reality applications. The aim of this thesis is to study and optimize the radiometric process established through such system. First of all, radiometric perturbations of the camera are studied, then a correction method, which can be implemented in the Catopsys system, is described. This enables the system to capture, quite faithfully, the real environment and to estimate the pertubations caused by the projector or the room. The behaviour of the projector and the repercussion of using the room as a projection screen are then studied. A radiometric compensation method of the projection is proposed. This method makes the displayed image be more similar to the desired one. After a geometric study of the Catopsys system, specific rendering methods, based on ray tracing, are proposed. Finally, the features provided by the system to perform mixed reality applications, as well as their integration in the system workflow are detailled. Works done during this thesis permitted us to collaborate to the conception of the Catopsys system, to evaluate the feasibility of some features, to implement some of them and to publish several papers (1 international conference, 1 national journal, 1 national conference).

Le système Catopsys est un système projecteur-miroir-caméra à placer dans une pièce d'habitation quelconque. Il constitue un moyen abordable (coût, installation, utilisation) de réaliser toutes sortes d'applications de réalité mixte immersives. L'objectif de cette thèse est d'étudier et d'optimiser la chaîne de traitement radiométrique mise en oeuvre à travers ce système. Tout d'abord, les perturbations radiométriques de la caméra sont étudiées puis une méthode de correction, applicable au système Catopsys, est mise au point. Ceci permet, de façon relativement fidèle, d'acquérir l'environnement réel et d'estimer les perturbations issues du projecteur et de la pièce. L'influence du projecteur et de la pièce, utilisée comme écran de projection, sur l'image visible par l'utilisateur, est ensuite étudiée. Une méthode de compensation de la projection, permettant de rendre l'image visible plus proche de l'image voulue, est proposée. Après une étude de la géométrie du système Catopsys, des méthodes de simulation d'éclairage spécifiques, dérivées de la méthode de lancer de rayons, sont proposées. Enfin, les possibilités fournies par le système pour des applications de réalité mixte ainsi que leur intégration dans la chaîne de traitement sont étudiées. Les travaux réalisés dans le cadre de cette thèse ont permis de participer à la mise au point du système Catopsys, d'étudier la faisabilité de différentes fonctionnalités et d'en réaliser certaines. Ils ont également donné lieu à la publication de plusieurs papiers (une conférence internationale, une revue nationale, une conférence nationale).

Mots clés: Mixed reality; immersive projection; computer vision; radiometric compensation; rendering

Mots clés: Réalité mixte; projection immersive; vision par ordinateur; compensation radiométrique; simulation d'éclairage

Domaines: Informatique [cs]; Interface homme-machine [cs.HC]

Julien Dehos. Étude radiométrique d'un système de projection immersive grand-public pour des applications de réalité mixte. Informatique [cs]. Université du Littoral Côte d'Opale, 2010. Français. ⟨NNT : LITTORA 4727382⟩. ⟨tel-00598616⟩