Comparative Evaluation of Human-Computer Interfaces : Convergence between Plasticity and Creativity for the Quality of Human-Computer Interaction
Evaluation comparative des interfaces homme-machine : convergence entre plasticité et créativité pour la qualité de l'interaction homme-machine
Résumé
In this thesis we are interested in Human-Computer Interaction (HCI) evaluation, more specifically in the approach of comparative evaluations. The literature sees them as an asset in increasing the quantity and quality of feedback in evaluations, thereby improving the quality of the HCI.However, producing alternative HCIs for comparative evaluations is expensive in the absence of tools for automatically generating these alternatives.The aim of the thesis is to automate the production of alternative HCIs in order to accelerate the convergence towards a quality one. This involves defining the transformations to be applied to an initial HCI to generate the best alternative, e.g, the one which placed next to the initial HCI, will allow to collect, as efficiently as possible, feedback inclined to improve the quality of the HCI. The alternative HCI could become the reference one to iteratively converge to towards the final HCI.To meet this objective, we first raised the question of whether or not to transform the HCI: would a change in materially be sufficient ? To this end, we explored the path of video alternatives. We elaborated an experimental study were we asked different participants to evaluate a HCI presented by both means successively :a paper prototype and video prototype. The results indicate that using the paper prototype allowed the participants to focus on the features offered by the system and criticized mainly it’s utility. Using the video prototype allowed the participants to focus more on the interaction with the system and criticized mainly it’s usability. Also, the combined use of the two prototypes, paper and film, enriches the results of the evaluation. However, the feedback collected were limited to the proposed HCI without alternative suggestions.We then studied the transformation of the HCI and, inspired by DesignScape, we questioned the minor or major character that these transformations had to have for an effective comparative evaluation. Based on the CAMELEON reference framework(CRF), we identified three possible levels of abstraction to anchor the transformations of an initial HCI: user tasks, the abstract UI and the concrete UI. Transformations at the first two levels are considered major changes. Changes at the level of the concrete UI is considered minor with regard to their depth in CRF.We carried out an experimental study in which three groups of participants compared an initial HCI with an alternative one presenting respectively a transformation within the task model, the abstract UI and the concrete UI. The study shows that user’s feedback were the most nourished in quality and quantity when the comparative evaluation implies the use of two HCIs presenting a variation in terms of the AUI.In the perspective of an automatic generation of alternatives, we then defined a set of transformation rules of the abstract UI consisting in modifying the navigation without changing the presentation of the elementary workspaces. We implemented these rules in GRA:FITI, a tool for automatic generation of alternative HCIs. GRA:FITI automatically generates three HCIs from an initial HCI that reduce the cost of global navigation, i.e., navigation between the major workspaces of the HMI, and/or local navigation, i.e., navigation within the elementary workspaces of the HCI. The experimental evaluation of GRA:FITI shows that: (1)GRA:FITI helps the designer to obtain relevant feedback on their initial HCI through comparative evaluations when using the alternative ones generated by the tool, (2)GRA:FITI can serve as a source of inspiration for HCI design.In summary, the thesis brings forward two contributions:(1)it defines the type of trans- formation to be applied to an HCI in order to generate an alternative one for efficient comparative evaluations and it proposes a set of rules for this transformation.(2)It proposes GRA:FITI, a tool for automatically generate this type of alternatives.
Cette thèse s’inscrit dans le domaine de l’ingénierie de l’Interaction Humain Machine (IHM). Elle traite de l’evaluation des IHM. Plus précisement, elle contribue à la classe d’approches d’évaluations comparative. La littérature leur voit comme atouts d’augmenter la quantité et la qualité des critiques lors des évaluations. Cependant, la production d’IHM alternatives pour l’évaluation est coûteuse en l’absence d’outils de génération automatique de ces alternatives.L’objectif de la thèse est d’automatiser la production d’IHM alternatives pour accélérer la convergence vers une IHM de qualité. Il s’agit de définir les transformations à appliquer à une IHM initiale pour générer la meilleure IHM alternative, celle qui, mise en vis-à-vis de l’IHM initiale, permettra de recueillir des retours utilisateur enclins à améliorer la qualité de l’IHM. L’alternative pourrait devenir l’IHM de référence pour itérativement converger vers l’IHM finale.Pour répondre à cet objectif, nous nous sommes premièrement interrogés sur la nécessité ou non de transformer l’IHM : un changement de matérialité pourrait-il suffire?Nous avons exploré la voie d’alternatives vidéo. Nous avons mené une étude expérimentale consistant à présenter aux participants successivement une IHM initiale en version papier puis la même sous la forme d’un film déroulant un scénario d’interaction. Cette étude montre que, dans la version papier, le participant se concentre sur les fonctionnalités offertes par le système et critique principalement son utilité, tandis qu’avec un film il s’exprime davantage sur l’interaction, i.e, l’utilisabilité. Aussi, l’utilisation combinée des deux supports, papier et film, enrichit les résultats. Cependant les critiques se sont limitées à l’IHM proposée sans suggestions alternatives.Nous avons alors étudié la transformation de l’IHM et, inspirés par DesignScape, nous nous sommes interrogés sur le caractère mineur ou majeur que ces changements devaient avoir pour donner une évaluation comparative efficace. Sur la base du cadre de référence CAMELEON(CRC), nous avons identifié trois niveaux d’abstraction possibles pour ancrer les transformations de l’IHM initiale : les tâches utilisateur, l’interface abstraite et l’interface concrète. Les changements aux deux premiers niveaux d’abstraction sont considérés comme des changements majeurs. Les changements au niveau de l’interface concrète sont considérés comme mineurs au regard de leur profondeur dans le CRC. Nous avons mené une expérimentation dans laquelle trois groupes de participants ont évalué comparativement une IHM initiale et une alternative de transformation respectivement au niveau du modèle de la tâche, de l’interface abstraite et de l’interface concrète. L’étude montre que les retours des participants ont été les plus nourris en qualité et en quantité sur la version majeure au niveau de l’interface abstraite.Dans l’optique d’une génération automatique d’alternatives, nous avons défini des règles de transformation de l’interface abstraite consistant à modifier la navigation sans changer la présentation des espaces de travail élémentaires.Nous avons implémenté ces règles dans GRA:FITI, un outil de génération automatique d’IHM alternatives. Il génère trois IHM à partir d’une IHM initiale qui réduisent la navigation globale, ie, la navigation entre les grands espaces de travail de l’IHM, et/ou la navigation locale, i.e, la navigation au sein des espaces de travail élémentaires de l’IHM. L’évaluation montre que :(1)GRA:FITI aide le concepteur à obtenir des critiques pertinentes sur son IHM initiale par des évaluations comparatives,(2)il peut servir de source d’inspiration en phase de conception.En synthèse, la thèse apporte deux contributions : (1)elle définit le type de transformation à appliquer à une IHM pour des évaluations comparatives efficaces et en propose un ensemble de règles, (2)elle propose un outil de génération automatique d’alternatives comme démonstrateur de concept.
Origine : Version validée par le jury (STAR)