Designing expressive interaction techniques for novices inspired by expert activities : the case of musical practice
La conception de techniques d’interaction expressives adaptées aux novices et inspirées par des activités expertes : le cas de la pratique musicale
Résumé
As interactive systems are now used to perform a variety of complex tasks, users need systems that are at the same time expressive, efficient and usable. Although simple interactive systems can be easily usable, interaction designers often consider that only expert practitioners can benefit from the expressiveness of more complex systems. Our approach, inspired by studies in phenomenology and psychology, underscores that non-experts have sizeable knowledge and advanced skills related to various expert activities having a social dimension –such as artistic activities–, which they gain implicitly through their engagement as perceivers. For example, we identify various music-related skills mastered by non-musicians, which they gain when listening to music or attending performances. We have two main arguments. First, interaction designers can reuse such implicit knowledge and skills to design interaction techniques that are both expressive and usable by novice users. Second, as expert artifacts and expert learning methods have evolved over time and have shown efficient to overcome the complexity of expert activities, they can be used as a source of inspiration to make expressive systems more easily usable by novice users. We provide a design framework for studying the usability and expressiveness of interaction techniques as two new aspects of the user experience, and explore this framework with three projects. In the first project we study the use of rhythmic patterns as an input method, and show that novice users are able to reproduce and memorize large vocabularies of patterns. This is made possible by the natural abilities of non-musicians to perceive, reproduce and make sense of rhythmic structures. We define a method to create expressive vocabularies of patterns, and show that novice users are able to efficiently use them as command triggers. In the second project, we study the design and learning of chording gestures on multitouch screens. We introduce design guidelines to create expressive chord vocabularies taking the mechanical constraints and the degrees of freedom of the human hand into account. We evaluate the usability of such gestures in an experiment and we present an adapted learning method inspired by the teaching of chords in music. We show that novice users are able to reproduce and memorize our vocabularies of chording gestures, while our learning method can improve long-term memorization. The final project focuses on music software used for live performances and proposes a framework for designing “instrumental” software allowing expert musical playing and having its elementary functionalities accessible to novices, as it is the case with acoustic instruments (for example, one can easily play a few chords on a piano without practice). We define a design framework inspired by a functional decomposition of acoustic instruments and present an adapted software architecture, both aiming to ease the design of such software and to make it match with instrument-making. These projects show that, in these cases: (i) the implicit knowledge novices have about some expert activities can be reused for interaction; (ii) expert learning methods can inspire ways to make expressive systems more usable novices; (iii) taking expert artifacts as a source of inspiration can help creating usable and expressive interactive systems. In this dissertation, we propose the study of usability as an alternative to the focus on immediacy that characterizes current commercial interactive systems. We also propose methods to benefit from the richness of expert activities and from the implicit knowledge of non-experts to design interactive systems that are at the same time expressive and usable by novice users.
Les systèmes interactifs étant utilisés pour réaliser des tâches toujours plus complexes et variées, les utilisateurs ont besoin de systèmes qui soient à la fois expressifs, efficaces et utilisables. Si des systèmes simples peuvent être instantanément utilisables, l’expressivité accessible avec des systèmes complexes est souvent considérée comme réservée aux experts. Cependant, notre approche, inspirée par la recherche en phénoménologie et en psychologie, souligne que certaines activités expertes ayant une portée sociale, comme les activités artistiques, permettent aussi aux non-experts d’acquérir des compétences et une connaissance considérables de façon implicite. Dans ce manuscrit, nous évoquerons notamment la connaissance et les compétences avancées développées par les non-musiciens lors de l’écoute de la musique et de l’observation du jeu instrumental. Nous défendons deux idées. Premièrement, les concepteurs de systèmes interactifs peuvent profiter de ces compétences et de cette connaissance implicites pour créer des systèmes expressifs qui soient utilisables. Deuxièmement, les méthodes d'apprentissage expertes et les outils experts, qui ont été perfectionnés à travers le temps et ont fait leurs preuves dans des situations complexes, peuvent servir de sources d'inspiration pour améliorer l’utilisabilité des systèmes complexes pour les utilisateurs novices. Nous proposons un cadre de conception pour étudier l'utilisabilité et l'expressivité des techniques d'interaction, comme deux nouvelles mesures de la qualité de l'interaction, et présentons les trois projets de cette thèse. Dans le premier, nous étudions l'utilisation de motifs rythmiques pour l'interaction, et nous montrons que des utilisateurs novices sont capables de reproduire et de mémoriser efficacement de grands vocabulaires de motifs rythmiques. Une telle interaction tire parti des capacités naturelles des non-musiciens pour percevoir et reproduire des structures rythmiques. Nous définissons des règles pour créer des motifs rythmiques adaptés à l’interaction, et montrons qu’ils peuvent être utilisés efficacement pour déclencher des commandes. Dans le deuxième projet, nous étudions la conception et l’apprentissage de postures multi-doigt sur des écrans multi-tactiles. Nous prenons en compte les contraintes mécaniques et les degrés de liberté de la main pour créer des vocabulaires expressifs de postures multi-doigt, dont nous évaluons l’utilisabilité lors d’une expérimentation. Nous présentons une méthode d’apprentissage adaptée aux postures les plus complexes, inspirée par l’apprentissage des accords en musique, et nous montrons qu’elle peut améliorer la compréhension et la mémorisation. Dans le dernier projet, nous nous intéressons aux applications de création musicale en temps réel, et tentons de les faire profiter des qualités instrumentales des instruments acoustiques. Nous voulons créer des applications qui permettent un jeu virtuose et expressif, et dont les fonctionnalités élémentaires sont accessibles aux novices (comme on peut jouer quelques accords au piano sans apprentissage). Nous proposons un cadre de conception et une architecture logicielle qui aident à considérer la conception d’applications musicales comme une lutherie à part entière. Avec ces projets, nous montrons que, dans ces cas : (i) la connaissance et les compétences implicites des non-experts peuvent être réutilisées en interaction ; (ii) les méthodes d’apprentissage expertes peuvent permettre de rendre les systèmes expressifs plus utilisables ; (iii) s’inspirer des outils experts peut aider à concevoir des systèmes interactifs expressifs et utilisables. Nous proposons l’étude de l’utilisabilité comme une alternative à l’immédiateté prônée par les entreprises d’informatique, et nous présentons des méthodes pour tirer parti de la richesse des activités expertes et de la connaissance implicite des non-experts pour créer des systèmes interactifs expressifs et utilisables par les novices.
Fichier principal
VD2_GHOMI_EMILIEN_17122012.pdf (15.38 Mo)
Télécharger le fichier
VD2_GHOMI_EMILIEN_17122012_annexe.pdf (1.07 Mo)
Télécharger le fichier
Origine : Version validée par le jury (STAR)
Format : Autre