Visual interpretation of hand postures for human-machine interaction

Résumé : Aujourd'hui, les utilisateurs souhaitent interagir plus naturellement avec les systèmes numériques. L'une des modalités de communication la plus naturelle pour l'homme est le geste de la main. Parmi les différentes approches que nous pouvons trouver dans la littérature, celle basée sur la vision est étudiée par de nombreux chercheurs car elle ne demande pas de porter de dispositif complémentaire. Pour que la machine puisse comprendre les gestes à partir des images RGB, la reconnaissance automatique de ces gestes est l'un des problèmes clés. Cependant, cette approche présente encore de multiples défis tels que le changement de point de vue, les différences d'éclairage, les problèmes de complexité ou de changement d'environnement. Cette thèse propose un système de reconnaissance de gestes statiques qui se compose de deux phases : la détection et la reconnaissance du geste lui-même. Dans l'étape de détection, nous utilisons un processus de détection d'objets de Viola Jones avec une caractérisation basée sur des caractéristiques internes d'Haar-like et un classifieur en cascade AdaBoost. Pour éviter l'influence du fond, nous avons introduit de nouvelles caractéristiques internes d'Haar-like. Ceci augmente de façon significative le taux de détection de la main par rapport à l'algorithme original. Pour la reconnaissance du geste, nous avons proposé une représentation de la main basée sur un noyau descripteur KDES (Kernel Descriptor) très efficace pour la classification d'objets. Cependant, ce descripteur n'est pas robuste au changement d'échelle et n'est pas invariant à l'orientation. Nous avons alors proposé trois améliorations pour surmonter ces problèmes : i) une normalisation de caractéristiques au niveau pixel pour qu'elles soient invariantes à la rotation ; ii) une génération adaptative de caractéristiques afin qu'elles soient robustes au changement d'échelle ; iii) une construction spatiale spécifique à la structure de la main au niveau image. Sur la base de ces améliorations, la méthode proposée obtient de meilleurs résultats par rapport au KDES initial et aux descripteurs existants. L'intégration de ces deux méthodes dans une application montre en situation réelle l'efficacité, l'utilité et la faisabilité de déployer un tel système pour l'interaction homme-robot utilisant les gestes de la main.
Type de document :
Thèse
Computer Vision and Pattern Recognition [cs.CV]. Université de La Rochelle, 2015. English. 〈NNT : 2015LAROS035〉
Liste complète des métadonnées

Littérature citée [103 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01373431
Contributeur : Abes Star <>
Soumis le : mercredi 28 septembre 2016 - 17:10:20
Dernière modification le : vendredi 7 juillet 2017 - 13:33:43

Fichier

2015Nguyen76435.pdf
Version validée par le jury (STAR)

Identifiants

  • HAL Id : tel-01373431, version 1

Collections

Citation

Van Toi Nguyen. Visual interpretation of hand postures for human-machine interaction. Computer Vision and Pattern Recognition [cs.CV]. Université de La Rochelle, 2015. English. 〈NNT : 2015LAROS035〉. 〈tel-01373431〉

Partager

Métriques

Consultations de
la notice

776

Téléchargements du document

126