Metamodel and bayesian approaches for dynamic systems

Métamodèles et approches bayésiennes pour les systèmes dynamiques

Max Cohen (1)

1 IP Paris - Institut Polytechnique de Paris

In this thesis, we develop deep learning architectures for modelling building energy consumption and air quality.We first present an end-to-end methodology for optimizing energy demand while improving indoor comfort, by substituting the traditionally used physical simulators with a much faster surrogate model.Using historic data, we can ensure that simulations from this metamodel match the real conditions of the buildings.Yet some differences remain, due to unavailable and random factors.We propose to quantify this uncertainty by combining state space models with time series deep learning models.In a first approach, we show how the weights of a model can be finetuned through Sequential Monte Carlo methods, in order to take into account uncertainty on the last layer.We propose a second generative model with discrete latent states, allowing for a simpler training procedure through Variational Inference and equivalent performances on a relative humidity forecasting task.Finally, our last work extends on these quantized models, by proposing a new prior based on diffusion bridges.By learning to corrupt and reconstruct samples from the latent space, our model is able to learn the complex prior distribution, regardless of the nature of the data.

Dans ce manuscrit, nous développons des architectures d'apprentissage profond pour modéliser la consommation énergétique et la qualité de l'air de bâtiments.Nous présentons d'abord une méthodologie de bout-en-bout permettant d'optimiser la demande énergétique tout en améliorant le confort, en substituant au traditionnel simulateur physique un modèle num'eriquement plus efficace.A partir de données historiques, nous vérifions que les simulations de ce métamodèle correspondent aux conditions réelles du bâtiment.Cependant, les performances des prédictions sont dégradées dans certaines situations à cause de différents facteurs alétoires.Nous proposons alors de quantifier l'incertitude des prédictions en combinant des modèles à espaces d'état à des modèles d'apprentissage profond pour les séries temporelles.Dans une première approche, nous montrons comment les poids d'un modèle peuvent être affinés par des méthodes de Monte Carlo séquentielles, afin de prendre en compte l'incertitude sur la dernière couche.Nous proposons un second modèle génératif à états latents discrets, permettant une procédure d'apprentissage moins coûteuse par Inférence Variationnelle ayant des performances équivalentes sur une tâche de prévision de l'humidité relative.Enfin, notre dernière contribution étend l'utilisation de ces modèles discrets, en proposant une nouvelle loi a priori basée sur des ponts de diffusion.En apprenant à corrompre puis à reconstruire des échantillons de l'espace latent, notre modèle est capable d'apprendre la distribution a priori, quelle que soit la nature des données.

Mots clés: Metamodel; Deep learning; Sequential Monte Carlo; Variational inference; Deep generative models; Uncertainty quantification

Mots clés: Metamodèle; Apprentissage profond; Méthodes de Monte Carlo séquentielles; Inférence variationelle; Modèles génératifs profonds; Quantification de l'incertitude

Domaines: Mathématiques générales [math.GM]; Apprentissage [cs.LG]

Max Cohen. Metamodel and bayesian approaches for dynamic systems. General Mathematics [math.GM]. Institut Polytechnique de Paris, 2023. English. ⟨NNT : 2023IPPAS003⟩. ⟨tel-04337924⟩