Contributions to procedural modeling and by-example generation of 2D cellular stochastic structures

Contributions à la modélisation procédurale de structures cellulaires stochastoques 2D et à leur génération par l'exemple

Guillaume Baldi (1)

1 ICube - Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie

The creation of procedural materials and textures requires considerable expertise, and is time-consuming, tedious and costly. We are therefore looking to develop tools for the automatic generation of procedural textures and materials from input exemplars provided in the form of images: This is known as inverse procedural modeling.In this thesis, we propose a procedural model called Cellular Point Process Texture Basis Function (C-PPTBF) for representing 2D stochastic cellular structures, involving functions that are differentiable with respect to most of their parameters, making it possible to estimate these parameters from examples without resorting entirely to deep neural networks. We have set up a processing pipeline to estimate the parameters of our model from structural examples provided in the form of binary images, combining an estimation performed using a convolutional neural network trained on images produced with our C-PPTBF model and an estimation phase using gradient descent directly on the parameters of the procedural model.

La création de matériaux et de textures procéduraux demande une grande expertise et constitue un travail long, fastidieux et coûteux, c’est pourquoi on cherche à développer des outils permettant leur génération automatique à partir d’exemples en entrée fournis sous la forme d’images : on parle de modélisation procédurale inverse.Dans cette thèse, nous proposons un modèle procédural appelé Cellular Point Process Texture Basis Function (C-PPTBF) permettant de représenter des structures cellulaires stochastiques 2D, impliquant des fonctions différentiables par rapport à la plupart de leurs paramètres, ce qui rend possible l’estimation de ces paramètres à partir d’exemples sans recourir entièrement à des réseaux de neurones profonds. Nous avons mis en place une chaîne de traitement permettant d’estimer les paramètres de notre modèle à partir d’exemples de structures fournis sous la forme d’images binaires, combinant une estimation réalisée à l’aide d’un réseau de neurones convolutif entraîné sur des images produites avec notre modèle de C-PPTBF et une phase d’estimation par descente de gradient directement sur les paramètres du modèle procédural.

Mots clés: Computer graphics; Inverse procedural modeling; Texture synthesis; Differentiable model; Neural networks; Gradient descent

Mots clés: Informatique graphique; Modélisation procédurale inverse; Synthèse de textures; Modèle différentiable; Réseaux de neurones; Descente de gradient

Domaines: Informatique [cs]

Guillaume Baldi. Contributions à la modélisation procédurale de structures cellulaires stochastoques 2D et à leur génération par l'exemple. Informatique [cs]. Université de Strasbourg, 2024. Français. ⟨NNT : 2024STRAD001⟩. ⟨tel-04573931⟩