Numerical methods to solve Markovian systems with large state space
Méthodes numériques pour la solution de systèmes Markoviens à grand espace d'états
Résumé
This thesis develops techniques for optimizing the numerical evaluation of Markovian models. These techniques are applied to models in which the transition matrix of the associated Markov chain is stored in a tensor format. A stochastic automata network formalism is used to describe the models. The performance index of interest is the stationary distribution of the Markov chain. We define a generalized tensor algebra and we prove a number of theorems that allow us to lay the foundations for the algorithms needed to solve the Markov chains. The main objective in this thesis is the efficiency of iterative algorithms for solving Markov chains. This objective has two aspects: the reduction of the computational cost of each iteration step; and the reduction of the number of iterations needed for convergence. The basic operation in each iteration step is the product of a vector by a matrix stored in a tensor format, the so-called descriptor. The efficiency of such operations is our first goal. We propose an approach (vector-descriptor product) which reduces memory requirements without increasing the computational complexity of the usual standard sparse matrix approach. The second goal is the adaptation of the power, Arnoldi and GMRES methods in their standard and preconditioned versions. These implementations attempt to reduce the number of iterations needed for convergence, while avoiding an increase in the iteration step costs. In addition, our technique does not need to explicitly generate the matrix corresponding to the descriptor to provide a preconditioner. All the concepts developed in this thesis are implemented in the PEPS 2.0 software package. Several practical examples of stochastic automata network models have been tested with PEPS 2.0 in order to illustrate the results of this thesis.
Cette thèse propose des techniques numériques visant à optimiser les méthodes itératives d'évaluation de performances de modèles Markoviens. Ces techniques s'appliquent à des modèles où la matrice de transition de la chaîne de Markov associée est stockée sous un format tensoriel. Particulièrement, le formalisme des réseaux d'automates stochastiques est employé pour la description des modèles. L'évaluation de performances cherchée est la détermination de l'état stationnaire de la chaîne de Markov (\emph(résolution)). De ce fait, les propriétés de l'algèbre tensorielle généralisée sont proposées et démontrées de façon à établir la base nécessaire aux algorithmes de résolution introduits. Le principal apport de cette thèse réside dans l'efficacité des ces algorithmes, qui est obtenue avec l'accélération des méthodes itératives. Ceci est fait à deux niveaux: la réduction du coût de chaque itération; et la réduction du nombre d'itérations nécessaire à la convergence. La multiplication d'un vecteur par une matrice sous format tensoriel (produit vecteur-descripteur) est l'opération de base des itérations. L'efficacité de cette opération est le premier objectif à atteindre. Le deuxième objectif est l'implémentation des méthodes de la puissance, d'Arnoldi et GMRES dans ses versions standards et pré-conditionnées de façon a minimiser le nombre d'itérations sans trop augmenter le coût de chaque itération. La totalité des concepts introduits est alors utilisée dans le logiciel PEPS 2.0. Plusieurs exemples pratiques de modèles en réseaux d'automates stochastiques ont été mesurés sur PEPS 2.0 pour illustrer les résultats de cette thèse.
Loading...