Solving Some Nonlinear Optimization Problems with Deep Learning
Résolution de quelques problèmes d'optimisation non linéaire avec l'apprentissage profond
Résumé
This thesis considers four types of nonlinear optimization problems, namely bimatrix games, nonlinear projection equations (NPEs), nonsmooth convex optimization problems (NCOPs), and chance-constrained games (CCGs).These four classes of nonlinear optimization problems find extensive applications in various domains such as engineering, computer science, economics, and finance.We aim to introduce deep learning-based algorithms to efficiently compute the optimal solutions for these nonlinear optimization problems.For bimatrix games, we use Convolutional Neural Networks (CNNs) to compute Nash equilibria.Specifically, we design a CNN architecture where the input is a bimatrix game and the output is the predicted Nash equilibrium for the game.We generate a set of bimatrix games by a given probability distribution and use the Lemke-Howson algorithm to find their true Nash equilibria, thereby constructing a training dataset.The proposed CNN is trained on this dataset to improve its accuracy. Upon completion of training, the CNN is capable of predicting Nash equilibria for unseen bimatrix games.Experimental results demonstrate the exceptional computational efficiency of our CNN-based approach, at the cost of sacrificing some accuracy.For NPEs, NCOPs, and CCGs, which are more complex optimization problems, they cannot be directly fed into neural networks.Therefore, we resort to advanced tools, namely neurodynamic optimization and Physics-Informed Neural Networks (PINNs), for solving these problems.Specifically, we first use a neurodynamic approach to model a nonlinear optimization problem as a system of Ordinary Differential Equations (ODEs).Then, we utilize a PINN-based model to solve the resulting ODE system, where the end state of the model represents the predicted solution to the original optimization problem.The neural network is trained toward solving the ODE system, thereby solving the original optimization problem.A key contribution of our proposed method lies in transforming a nonlinear optimization problem into a neural network training problem.As a result, we can now solve nonlinear optimization problems using only PyTorch, without relying on classical convex optimization solvers such as CVXPY, CPLEX, or Gurobi.
Cette thèse considère quatre types de problèmes d'optimisation non linéaire, à savoir les jeux de bimatrice, les équations de projection non linéaire (NPEs), les problèmes d'optimisation convexe non lisse (NCOPs) et les jeux à contraintes stochastiques (CCGs). Ces quatre classes de problèmes d'optimisation non linéaire trouvent de nombreuses applications dans divers domaines tels que l'ingénierie, l'informatique, l'économie et la finance. Notre objectif est d'introduire des algorithmes basés sur l'apprentissage profond pour calculer efficacement les solutions optimales de ces problèmes d'optimisation non linéaire.Pour les jeux de bimatrice, nous utilisons des réseaux neuronaux convolutionnels (CNNs) pour calculer les équilibres de Nash. Plus précisément, nous concevons une architecture de CNN où l'entrée est un jeu de bimatrice et la sortie est l'équilibre de Nash prédit pour le jeu. Nous générons un ensemble de jeux de bimatrice suivant une distribution de probabilité donnée et utilisons l'algorithme de Lemke-Howson pour trouver leurs véritables équilibres de Nash, constituant ainsi un ensemble d'entraînement. Le CNN proposé est formé sur cet ensemble de données pour améliorer sa précision. Une fois l'apprentissage terminée, le CNN est capable de prédire les équilibres de Nash pour des jeux de bimatrice inédits. Les résultats expérimentaux démontrent l'efficacité computationnelle exceptionnelle de notre approche basée sur CNN, au détriment de la précision.Pour les NPEs, NCOPs et CCGs, qui sont des problèmes d'optimisation plus complexes, ils ne peuvent pas être directement introduits dans les réseaux neuronaux. Par conséquent, nous avons recours à des outils avancés, à savoir l'optimisation neurodynamique et les réseaux neuronaux informés par la physique (PINNs), pour résoudre ces problèmes. Plus précisément, nous utilisons d'abord une approche neurodynamique pour modéliser un problème d'optimisation non linéaire sous forme de système d'équations différentielles ordinaires (ODEs). Ensuite, nous utilisons un modèle basé sur PINN pour résoudre le système d'ODE résultant, où l'état final du modèle représente la solution prédite au problème d'optimisation initial. Le réseau neuronal est formé pour résoudre le système d'ODE, résolvant ainsi le problème d'optimisation initial. Une contribution clé de notre méthode proposée réside dans la transformation d'un problème d'optimisation non linéaire en un problème d'entraînement de réseau neuronal. En conséquence, nous pouvons maintenant résoudre des problèmes d'optimisation non linéaire en utilisant uniquement PyTorch, sans compter sur des solveurs d'optimisation convexe classiques tels que CVXPY, CPLEX ou Gurobi.
Origine : Version validée par le jury (STAR)