Numerical methods for piecewise-deterministic Markov processes

Méthodes numériques pour les processus markoviens déterministes par morceaux

Adrien Brandejsky (1)

1 CQFD - Quality control and dynamic reliability

Piecewise-deterministic Markov processes (PDMP's) have been introduced by M.H.A. Davis as a general class of non-diffusive stochastic models. PDMP's are hybrid Markov processes involving deterministic motion punctuated by random jumps. In this thesis, we develop numerical methods that are designed to fit PDMP's structure and that are based on the quantization of an underlying Markov chain. We deal with three issues : the approximation of expectations of functional of a PDMP, the approximation of the moments and of the distribution of an exit time and the partially observed optimal stopping problem. In the latter one, we also tackle the filtering of a PDMP and we establish the dynamic programming equation of the optimal stopping problem. We prove the convergence of all our methods (most of the time, we also obtain a bound for the speed of convergence) and illustrate them with numerical examples.

Les processus markoviens déterministes par morceaux (PMDM) ont été introduits dans la littérature par M.H.A. Davis en tant que classe générale de modèles stochastiques non-diffusifs. Les PMDM sont des processus hybrides caractérisés par des trajectoires déterministes entrecoupées de sauts aléatoires. Dans cette thèse, nous développons des méthodes numériques adaptées aux PMDM en nous basant sur la quantification d'une chaîne de Markov sous-jacente au PMDM. Nous abordons successivement trois problèmes : l'approximation d'espérances de fonctionnelles d'un PMDM, l'approximation des moments et de la distribution d'un temps de sortie et le problème de l'arrêt optimal partiellement observé. Dans cette dernière partie, nous abordons également la question du filtrage d'un PMDM et établissons l'équation de programmation dynamique du problème d'arrêt optimal. Nous prouvons la convergence de toutes nos méthodes (avec le plus souvent des bornes de la vitesse de convergence) et les illustrons par des exemples numériques.

Mots clés: Processus markovien déterministe par morceaux; Méthode numérique; Quantification; Arrêt optimal

Mots clés: Piecewise-deterministic Markov process; Numerical method; Quantization; Optimal stopping

Domaines: Probabilités [math.PR]

Adrien Brandejsky. Méthodes numériques pour les processus markoviens déterministes par morceaux. Probabilités [math.PR]. Université Bordeaux 1, 2012. Français. ⟨NNT : 2012BOR14534⟩. ⟨tel-00733731⟩