Emergent coordination of speaking turns by the continuous sensory-motor coupling between users and agents

Coordination des tours de parole par le couplage sensorimoteur continu entre utilisateurs et agents

Mathieu Jégou (1)

1 Lab-STICC - Laboratoire des sciences et techniques de l'information, de la communication et de la connaissance

In this thesis, we present a model for the coordination of speaking turns in dyadic interactions between users and agents. According to a common view, to coordinate turns means avoiding overlaps and reduces silences between turns. By optimizing turn transitions between users and agents, the user’s experience is expected to be improved. However, observations of human conversations show a more complex coordination of speaking turns between users and agents: awkward silences and overlaps, competitive or not, are common. In order to improve the credibility and the naturalness of the interaction, we must observe the same variability of situations in a user-agent interaction. Nevertheless, coordination of speaking turns is, by nature, complex, the coordination is managed by the interaction between participants more than controlled by one participant alone. To capture this complexity, we elaborated a model emphasizing the continuous sensory-motor coupling existing between the user and the agent. As a result of this sensory-motor coupling, the behavior of the agent is not entirely controlled by the agent but is an emergent property of the interaction between the user and the agent. We show the capacity of our model to make emerge the different situations linked to the coordination of speaking turns in interactions between two agents and between one user and one agent.

Nous présentons dans cette thèse un modèle pour la coordination de la parole dans des interactions dyadiques utilisateur-agent. Selon une approche courante, coordonner la parole reviendrait à éviter les recouvrements de parole et à minimiser les moments de silence entre deux tours, ceci pour rendre plus fluide l’interaction avec l’agent et améliorer l’expérience de l’utilisateur en interaction dialogique avec l’agent. Les interactions humaines montrent néanmoins une coordination plus complexe avec des recouvrements de parole compétitifs ou non compétitifs et des moments de silences longs. Selon notre approche, c’est en permettant cette diversité des situations que nous verrons émerger, entre l’utilisateur et l’agent, une interaction plus fluide et plus crédible, améliorant l’expérience de l’utilisateur avec l’agent. Les échanges de paroles sont néanmoins, par nature, complexes, la coordination se faisant par l’interaction entre locuteur et auditeur plus que par un participant en particulier. Pour capturer cette complexité, nous avons élaboré un modèle mettant l’accent sur une coordination de la parole basée sur un couplage sensorimoteur continu. Sur la base de ce couplage sensorimoteur, le comportement de l’agent n’est pas entièrement contrôlé par ce dernier, mais est émergent de l’interaction entre les participants. Nous montrons la capacité de notre modèle à faire émerger les différentes situations liées à la coordination de la parole humaine à la fois dans une interaction entre deux agents et dans une interaction utilisateur-agent.

Mots clés: Embodied conversational agent; Agent architectures; Turn-taking; Sensory-motor coupling; Emergence

Mots clés: Agents conversationnels animés; Architectures d’agent; Tour de parole; Couplage sensorimoteur; Emergence

Domaines: Interface homme-machine [cs.HC]

Mathieu Jégou. Coordination des tours de parole par le couplage sensorimoteur continu entre utilisateurs et agents. Interface homme-machine [cs.HC]. Université de Bretagne occidentale - Brest, 2016. Français. ⟨NNT : 2016BRES0061⟩. ⟨tel-01455215⟩