Computer vision for the gesture recognition: gesture analysis and stochastic modelling in music interaction

Vision par ordinateur pour la reconnaissance des gestes: analyse et modélisation stochastique du geste dans l'interaction musicale

Sotiris Manitsaris (1)

1 LTMI - Laboratoire des Technologies Multimédia et de l'Infographie

This thesis presents a prototype computer vision system for the gesture recognition in the interaction between the pianist and the musical instrument. Computer vision is the only technology that permits the recognition of the gestures, without interference between the pianist and his instrument, and at a low cost. The system proposes two approaches for the recognition: a) the static approach, or the fingering retrieval, and b) the dynamic approach, an extension of the static one. The static recognition is applied in every video frame. It rests on the analysis and interpretation of the features of the frame, comparing them with the deterministic model of the gesture. The dynamic recognition is applied in a set of sequences of video frames. It is based on the analysis and the stochastic modeling of the gesture, with the help of the Hidden Markov Models. This method can be extended towards various application fields such as the surveillance of ageing or disabled people, the valorisation of the cultural heritage, the study of the human behaviour or the human-computer interaction.

Cette thèse présente un système prototype de vision par ordinateur pour la reconnaissance des gestes dans l'’interaction entre le pianiste et l'’instrument. La vision par ordinateur est la seule technologie permettant la reconnaissance des gestes, sans interférence entre le pianiste et son instrument, et à un faible coût. Le système propose deux approches pour la reconnaissance : a) l'’approche statique, ou reconnaissance des doigtés, et b) l’'approche dynamique, extension de l’'approche statique. La reconnaissance statique s’'applique à chaque image de la vidéo. Elle repose sur l’'analyse et l'’interprétation des caractéristiques de l'’image, en les comparant avec le modèle déterministe du geste. La reconnaissance dynamique s'’applique à un ensemble de séquences d'’images vidéo. Elle se base sur l'’analyse et la modélisation stochastique du geste, à l'’aide de Modèles de Markov Cachés. Cette méthode peut être étendue à d’'autres champs d’'application tels que le suivi de personnes en perte d'’autonomie à domicile, la valorisation du patrimoine culturel, l'’étude du comportement humain ou encore l'’interaction homme-machine.

Mots clés: computer vision; modelling; recognition; gesture; video signal; Hidden Markov Models; music interaction

Mots clés: vision par ordinateur; modélisation; reconnaissance; geste; signal vidéo; Modèles de Markov Cachés; interaction musicale

Domaines: Interface homme-machine [cs.HC]

Sotiris Manitsaris. Computer vision for the gesture recognition: gesture analysis and stochastic modelling in music interaction. Human-Computer Interaction [cs.HC]. Université de Macédoine, 2010. Greek. ⟨NNT : ⟩. ⟨tel-00551004⟩