Chance-Constrained Optimization : Applications in Game Theory and Markov Decision Processes
Optimisation sous contraintes en probabilité : applications en théorie des jeux et processus de décision Markovien
Résumé
Chance-constrained optimization is a powerful mathematical framework that addresses decision-making problems in the presence of uncertainty. It provides a systematic approach to handle random parameters or uncertain variables, allowing decision-makers to account for the likelihood of violating certain constraints while optimizing an objective function. The core idea behind chance-constrained optimization is to ensure that the probability of constraint violation remains below a specified threshold. This threshold represents the acceptable level of risk or confidence level for the decision-maker. In chance-constrained optimization, uncertain parameters can have known or unknown distributions. When the distribution of uncertain parameters is known, probability distributions such as Normal (Gaussian), elliptical, normal meanvariance mixture or discrete distribution with support based on historical data can be utilized to represent the uncertainty. In many practical situations, the distribution of uncertain parameters may be unknown or difficult to estimate accurately. In such cases, the distribution of uncertain parameters is assumed to belong to an uncertainty set, which leads to a specific problem, called distributionally robust chance-constrained optimization. Chance-constrained optimization has significant applications in game theory and Markov Decision Processes (MDPs). In this dissertation, we first present a theoretical result of the convexity of chance-constrained optimization. Next, we study two specific models of game theory and MDPs involving chance-constrained optimization, known as chance-constrained games (CCGs) and distributionally robust chance-constrained Markov decision processes (DRCCMDPs). We consider different assumptions on the distribution of uncertain parameters. In CCGs, under certain conditions, we show the existence of a Nash equilibrium of the game. DRCCMDPs can be modelled as a distributionally robust chance-constrained optimization problem, where a decision maker is interested in maximizing the expected discounted value of a reward function. Under certain conditions, we reformulate the optimization problem equivalently as a deterministic problem, which can be solved efficiently by commercial solvers.
L’optimisation sous contraintes en probabilité est un cadre mathématique puissant qui aborde les problèmes de prise de décision en présence d’incertitude. Il fournit une approche systématique pour gérer des paramètres aléatoires ou des variables incertaines, permettant aux décideurs de tenir compte de la probabilité de violation de certaines contraintes tout en optimisant une fonction objectif. L’idée centrale de l’optimisation sous contrainte aléatoire est de garantir que la probabilité de violation de contrainte reste inférieure à un seuil spécifié. Ce seuil représente le niveau de risque acceptable ou le niveau de confiance pour le décideur. Dans l’optimisation sous contraintes en probabilité, les paramètres incertains peuvent avoir des distributions connues ou inconnues. Lorsque la distribution des paramètres incertains est connue, des distributions de probabilité telles que normale (gaussienne), elliptique, mélange moyenne-variance normale ou distribution discrète avec support basé sur des données historiques peuvent être utilisées pour représenter l’incertitude. Dans de nombreuses situations pratiques, la distribution de paramètres incertains peut être inconnue ou difficile à estimer avec précision. Dans de tels cas, la distribution des paramètres incertains est supposée appartenir à un ensemble d’incertitudes, ce qui conduit à un problème spécifique, appelé optimisation distributionnellement robuste avec contraintes en probabilité. L’optimisation sous contraintes en probabilité a des applications significatives dans la théorie des jeux et les processus de décision Markoviens (MDP). Dans cette thèse, nous présentons d’abord un résultat théorique de la convexité de l’optimisation sous contraintes en probabilité. Ensuite, nous étudions deux modèles spécifiques de théorie des jeux et de MDP impliquant une optimisation sous contraintes en probabilité, connus sous le nom de jeux contraints par le hasard (CCG) et de processus de décision Markoviens avec des contraintes robustes sur le plan distribution (DRCCMDP). Nous considérons différentes hypothèses sur la distribution des paramètres incertains. Dans les CCG, sous certaines conditions, nous montrons l’existence d’un équilibre de Nash du jeu. Les DRCCMDP peuvent être modélisés comme un problème d’optimisation sous contraintes robustes sur le plan distribution, dans lequel un décideur souhaite maximiser la valeur actualisée attendue d’une fonction de récompense. Sous certaines conditions, nous reformulons le problème d’optimisation de manière équivalente comme un problème déterministe, qui peut être résolu efficacement par des solveurs commerciaux.
Origine : Version validée par le jury (STAR)