Decisional Models of Human-Robot
Modèles Décisionnels d'Interaction Homme-Robot
Résumé
This thesis is focused on decision models for human-robot interaction based on Markovian
Decision Processes. First, we propose an augmented decision model that allows a companion
robot to act considering estimated human intentions. This model addresses the problem of
estimating the intention of the human by observing his actions. We proposed to simulate the
behavior of a human to build a library of human action values toward his possible intentions.
These values are integrated into the augmented Partially Observable Markov Decision Process
(POMDP). Second, we present a coactive decision model that allows a robot in collaboration
with a human to choose his behavior according to the progress of the shared task. This model
is based on an augmented POMDP and allows the robot to act coactively to encourage the
human actions and to perform the task in harmony with him. Third, we also propose a unified
model for different types of human-robot interactions where the robot analyzes the needs of the
human and acts accordingly. To overcome the complexity of POMDPs, the unified model divides
the problem into several parts, the first estimates the human intention with a hidden Markov
model (HMM) and another is responsible for choosing the corresponding type of interaction
(collaboration, assistance, cooperation) using a Markov Decision Process (MDP). Finally, we
propose a model that alternates between verbal interaction to infer the preference of the human
using queries and non-verbal interaction in which preferences are estimated by observing the
human actions. This model switches back to the verbal interaction when an ambiguity about
the preferences is detected.
Nous étudions des Modèles Décisionnels pour l'Interaction Homme-Robot basés sur des Processus Décisionnels Markoviens. Premièrement, nous proposons un modèle de décision augmenté du robot compagnon afin d'agir en tenant compte de l'intention estimée de l'être humain. Ce modèle traite le problème d'estimation de l'intention de l'être humain en observant ses actions. Nous avons proposé de simuler le comportement de l'être humain afin de construire une bibliothèque de valeurs de ses actions par rapport à ses intentions possibles. Ces valeurs sont intégrées dans un Processus Décisionnel Markovien Partiellement Observable (POMDP). Nous parlerons alors de POMDP augmenté. Deuxièmement, nous avons présenté un modèle de décision qui permet au robot en collaborat ion avec un être humain de choisir son comportement selon l'avancement de la réalisation de la tâche partagée. Ce modèle est basé sur un POMDP augmenté et permet au robot d'être coactif afin d'inciter l'action de l'humain pour réaliser la tâche en harmonie avec lui. Troisièmement, nous avons aussi défini un modèle unifié pour diffèrent types d'interaction homme-robot où le robot analyse les besoins de l'humain et agit en conséquence. Afin de contourner la complexité des POMDPs, le modèle unifié sépare le problème en deux partie, une première responsable d'estimer les intention de l'humain avec une chaîne de Markov Cachée (HMM) et une deuxième responsable de choisir le type d'interaction correspondant (collaboration, assistance, coopération) avec un Processus Décisionnel Markovien (MDP). F inalement, nous proposons un modèle qui alterne entre interaction verbale afin d'inférer les préférence de l'humain et interaction non-verbale où les préférences sont estimés en observant les actions de l'humain. Ce modèle permet de revenir à l'interaction verbale quand une ambiguïté dans les préférences est détectée.
Domaines
Interface homme-machine [cs.HC]
Loading...