Computer vision and deep learning algorithms applied to visual effects and augmented reality
Algorithmes de vision par ordinateur et d’apprentissage profond appliqués aux effets visuels et à la réalité augmentée
Résumé
Computer vision algorithms and more recently machine learning have been successfully applied in the field of audiovisual and cinema (image restoration and de noising, oversampling, slow motion, compression, color correction, HDR imaging or stereoscopic cinema) and more particularly in the field of visual effects VFX (image retouching, object separation from the background, motion tracking, body and face motion capture or 3D modeling and animation). Our research activities focus on the VFX technique of "Matchmoving" which consists in combining images from real and synthetic scenes. The methods used are similar to those of augmented reality, with the difference that the realism effect is important in the case of VFX. Matchmoving can be summarized in three steps : 1) Tracking of the camera movement to allow the insertion of the CG images in a geometrically coherent way with the real scene. 2) Composition of the images with Alpha Matting techniques. 3) Photo-realistic rendering of the synthesized images in a manner consistent with the photometry of the real scene. In a first step, we studied different existing algorithms for each of these steps. We applied traditional motion tracking algorithms to VFX and augmented reality problems. Then, we combined different algorithms to propose a real-time Matchmoving pre-visualization system based on artificial marker tracking and rasterization rendering techniques. A theoretical and comparative study of traditional and machine learning based matching methods has been performed in order to choose the most suitable approaches for an augmented reality system. New methods based on deep learning have been proposed. We have developed new CNN models as well as various synthetic image datasets to allow the detection, description and matching of points of interest (main steps of camera motion tracking). The datasets created were made public and available to the community. Finally, we proposed a comparative study of 3D rendering methods of rasterization, Ray Tracing and deep learning.
Les algorithmes de vision par ordinateur et plus récemment l’apprentissage automatique ont été appliqués avec succès dans le domaine de l’audiovisuel et du cinéma (restauration et dé-bruitage d’images, sur-échantillonnage, slow motion, compression, correction des couleurs, imagerie HDR ou cinéma stéréoscopique) et plus particulièrement dans le domaine des effets visuels VFX (retouche d’images, séparation des objets de l’arrière plan, suivi de mouvement, capture de mouvement du corps et des visages ou la modélisation et l’animation 3D). Nos activités de recherche portent essentiellement sur la technique VFX de "Matchmoving" qui consiste à combiner des images de scènes réelles et de synthèse. Les méthodes utilisées sont similaires à celles de la réalité augmentée, à la différence que l’effet de réalisme est important dans le cas des VFX. Le Matchmoving peut se résumer en trois étapes : 1) Suivi du mouvement caméra pour permettre l’insertion des images de synthèse de manière géométriquement cohérente avec la scène réelle. 2) Composition des images avec des techniques de Alpha Matting. 3) Rendu photoréaliste des images de synthèse de manière cohérente avec la photométrie de la scène réelle. Dans un premier temps, nous avons étudié différents algorithmes existants de chacune de ces étapes. Nous avons appliqué des algorithmes traditionnels de suivi de mouvement à des problématiques de VFX et de réalité augmentée. Ensuite, nous avons combiné différents algorithmes pour proposer un système de pré-visualisation de Matchmoving en temps réel fondé sur le suivi de marqueurs artificiels et sur des techniques de rendu par rastérisation. Une étude théorique et comparative des méthodes de mise en correspondance traditionnelles et fondées sur l’apprentissage automatique et profond a été réalisée dans le but de choisir les approches les plus adaptées pour un système de réalité augmentée. Des nouvelles méthodes fondées sur l’apprentissage profond ont été proposées. Nous avons élaboré de nouveaux modèles CNN ainsi que divers datasets d’images de synthèse pour permettre la détection, la description et la mise en correspondance des points d’intérêt (étapes principales du suivi de mouvement caméra). Les datasets créées ont été rendues publiques et mises à la disposition de la communauté. Enfin, nous avons proposé une étude comparative des méthodes de rendu 3D de rastérisation, de Ray Tracing et d’apprentissage profond.
Origine : Fichiers produits par l'(les) auteur(s)