Towards a naturel human-computer communication : multimodal dialogue and presentation strategies
Vers une communication humain-machine naturelle : stratégies de dialogue et de présentation multimodales
Résumé
This thesis focuses on multimodal human-computer communication for public service systems. In this context, the naturalness of the communication relies on sensory-motor, cognitive and rhetorical accessibility of the interactive system by the user. Towards this goal of natural communication, we identify the key role of dialogic and presentation strategies : 1) A dialogic strategy of a cooperative information system defines the behavior of the system and the content to convey : Examples include relaxation, statement and restriction. 2) A presentation strategy defines a multimodal presentation specification, specifying the allocated modalities and how these modalities are combined. Highlighting the intertwined relation of content and presentation, we identify a new software component, namely the dialogic strategy component, as a mediator between the dialogue controller and the concrete presentation components within the reference Arch software architecture. The content selection and the presentation allocation managed by the dialogic strategy component are based on various constraints including the inherent characteristics of modalities, the availability of modalities as well as explicit choices or preferences of the user. In addition to the software development of this new component in two systems, we developed a design tool, which allows ergonomists and non-programmers to define and configure the dialogic strategies and to generate the dialogic strategy component of a particular system, as part of an iterative user-centered design process. Moreover this tool is integrated with a simulation framework for wizard of Oz experiments.
Cette thèse a pour thème la communication humain-machine multimodale pour des systèmes d'information grand-public. Dans ce contexte, la communication naturelle repose sur l'accessibilité sensoriactionnelle, cognitive et rhétorique aux informations et aux moyens d'action. Pour cela, nous identifons le rôle clef que jouent les stratégies de dialogue et de présentation : 1) La stratégie de dialogue pour des systèmes coopératifs définit la tâche dialogique qui oriente la suite du dialogue et conditionne, voire contraint, le choix du contenu, comme la relaxation, la présentation ou la restriction. 2) La stratégie de présentation définit une configuration multimodale des unités informationnelles à rendre perceptibles par l'utilisateur. Nous prônons le choix concerté de la stratégie de dialogue avec celle de présentation et nous proposons un composant logiciel dédié au choix conjoint des stratégies de dialogue et de présentation au sein de l'architecture logicielle de référence Arch. Ce nouveau composant, intermédiaire entre le contrôleur de dialogue et les composants de présentation concrète, prend en compte les contraintes de présentation, qu'elle soient définies par l'utilisateur ou issues du contexte d'utilisation et/ou d'études ergonomiques et cognitives, pour déterminer la réaction multimodale du système interactif. Outre la réalisation logicielle du composant au sein de deux systèmes, nous proposons un outil de conception destiné à des non-informaticiens qui permet la conception incrémentale et la génération d'un composant de choix pour un système donné grâce à une interface graphique. L'outil est associé à une plate-forme de simulation pour des expérimentations magicien d'Oz.