Automatic Rush Generation with Application to Theatre Performances

Vineet Gandhi 1
1 IMAGINE - Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments
Inria Grenoble - Rhône-Alpes, LJK - Laboratoire Jean Kuntzmann, INPG - Institut National Polytechnique de Grenoble
Résumé : Les captations professionnelles de pièces de théâtre utilisent un grand nombre de caméras afin de montrer l’ensemble du spectacle sous tous ses angles. C’est un processus complexe et coûteux, qui fait appel aux compétences d’un grand nombre de techniciens qualifiés pour assurer le cadrage puis le montage de toutes les prises de vues. Dans cette thèse, nous explorons une approche différente, consistant à calculer automatiquement en post-production des cadrages dynamiques à partir d’un petit nombre de prises de vues obtenues en caméra fixe, sans opérateurs. Pour atteindre cet objectif, nous proposons de nouveaux algorithmes de vision par ordinateur qui nous permettent de formaliser et reproduire les régles du cadrage cinématographique. Dans cette thèse, nous proposons de nouvelles méthodes d’analyse vidéo pour calculer automatiquement le cadrage le plus approprié aux mouvements des acteurs qui évoluent sur scène. Nous simulons pour cela les mouvements d’une caméra "pan-tilt-zoom" extraite du cadre d’une prise de vue en caméra fixe. Une contribution importante de la thèse consiste à formaliser le problème du cadrage cinématographique comme un problème d’optimisation convexe. Dans une première partie de la thèse, nous proposons des méthodes nouvelles pour détecter et reconnaitre les acteurs à l’aide d’une modélisation explicite de leurs apparences, qui inclue leurs caractères physiques ainsi que leurs costumes et chevelures. Nous présentons une approche pour apprendre ces modèles d’apparence à partir d’un petit nombre d’exemples, en maximisant leur vraisemblance. Nous montrons l’efficacité de ces méthodes sur des exemples de films de théâtre et de cinéma. Dans une seconde partie de la thèse, nous montrons comment ces méthodes peuvent être utilisées pour effectuer le suivi des acteurs d’une pièce de théâtre, y compris sur de longues séquences de plusieurs minutes, par l’utilisation de méthodes efficaces de programmation dynamique, qui permettent de prendre en compte les entrées et sorties de scène des acteurs, ainsi que leurs occultations mutuelles. Dans une troisième partie de la thèse, nous décrivons une méthode générale pour calculer dynamiquement le cadrage d’une caméra virtuelle incluant un nombre quelconque d’acteurs, tout en excluant les autre acteurs dans la mesure du possible. Notre méthode prend en compte un grand nombre de considérations esthétiques que nous avons extraites des ouvrages techniques consacrés à la cinématographie et au montage. Notre approche présente l’avantage de formaliser les règles de la cinématographie et du montage sous la forme d’un problème d’optimisation convexe, pour lequel nous pouvons proposer une solution efficace. Tout au long de la thèse, nous illustrons et validons les approches proposées sur des exemples réels et complexes, que nous avons filmés au Théâtre de Lyon - Célestins. Les méthodes que nous proposons s’appliquent généralement au spectacle vivant (théâtre, musique, opéra) et permettent d’envisager de nouvelles applications de la vision par ordinateur dans le domaine de la production audio-visuelle.
Type de document :
Thèse
Computer Vision and Pattern Recognition [cs.CV]. Grenoble University, 2014. English
Liste complète des métadonnées

Littérature citée [112 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01119207
Contributeur : Rémi Ronfard <>
Soumis le : dimanche 22 février 2015 - 09:12:21
Dernière modification le : mercredi 14 décembre 2016 - 01:07:23
Document(s) archivé(s) le : mardi 30 juin 2015 - 12:46:43

Identifiants

  • HAL Id : tel-01119207, version 1

Collections

Citation

Vineet Gandhi. Automatic Rush Generation with Application to Theatre Performances. Computer Vision and Pattern Recognition [cs.CV]. Grenoble University, 2014. English. 〈tel-01119207〉

Partager

Métriques

Consultations de
la notice

328

Téléchargements du document

339