Multidimensional time-series averaging. Application to automatic and generic evaluation of sport gestures
Modélisation de séries temporelles multidimensionnelles. Application à l'évaluation générique et automatique du geste sportif
Résumé
Either to reduce falling risks in elderly people, to translate the sign language or to control a virtual human being, gesture analysis is thriving research field that aims at recognizing, classifying, segmenting, indexing and evaluating different types of motions. As few studies tackle the evaluation process, this PhD focuses on the design of an autonomous system for the generic evaluation of sport-related gestures. The tool is trained on the basis of experts’ motions recorded with a motion capture system. Dynamic Time Warping (DTW) is deployed to obtain a reference gesture thanks to data alignment and averaging. Nevertheless, this standard method suffers from pathological paths issues that reduce its effectiveness. For this reason, local constraints are added to the new DTW-based algorithm, called CDBA (Constrained DTW Barycenter Averaging). At each time step and for each limb, the quality of a gesture is spatially and temporally assessed. Each new motion is compared to the reference gesture and weighted in terms of data dispersion around the reference.The process is validated on annotated karate and tennis databases. A first online training prototype is given in order to prompt further research on this subject.
Qu'il tente de prévenir la chute d'une personne âgée, de traduire la langue des signes ou de contrôler un humain virtuel, l'analyse de gestes est un vaste domaine de recherche qui s'attelle à reconnaître, classifier, segmenter, indexer ou encore évaluer différents types de mouvements. Cependant, peu de travaux se concentrent sur cette dernière approche d'évaluation. Ce travail de thèse propose de mettre en place un outil d’évaluation automatique et générique d’un geste sportif, reposant sur l’utilisation d’une base de données de gestes experts acquis via un système de capture de mouvements. Afin d’extraire un mouvement de référence, l’algorithme de déformation temporelle dynamique (DTW) est considéré pour aligner puis moyenner les gestes. Les méthodes d’alignements et de moyennage de séries temporelles se confrontant aux conséquences néfastes de chemins de déformation du DTW pathologiques, des contraintes locales sont ajoutées et donnent lieu à un nouvel algorithme appelé CDBA. La qualité d’un geste est estimée spatialement et temporellement à chaque instant et pour chaque membre par comparaison avec le geste de référence et pondérée par la dispersion des données expertes autour de ce geste moyen. Le processus ainsi mis en place est validé à partir de gestes de karaté et de tennis annotés par des entraîneurs. Un premier prototype d’outil d’entraînement en ligne est finalement proposé et laisse entrevoir les potentialités d’usage qui pourraient être menées à la suite de ce travail.
Origine : Version validée par le jury (STAR)