Non-intrusive analysis of sports gestures in videos using machine learning
Analyse non intrusive du geste sportif dans des vidéos par apprentissage automatique
Résumé
In this thesis, we are interested in the characterization and fine-grained analysis of sports gestures in videos, and more particularly in non-intrusive 3D analysis using a single camera. Our case study is table tennis. We propose a method for reconstructing 3D ball positions using a high-speed calibrated camera (240fps). For this, we propose and train a convolutional network that extracts the apparent diameter of the ball from the images. The knowledge of the real diameter of the ball allows us to compute the distance between the camera and the ball, and then to position the latter in a 3D coordinate system linked to the table. Then, we use a physical model, taking into account the Magnus effect, to estimate the kinematic parameters of the ball from its successive 3D positions. The proposed method segments the trajectories from the impacts of the ball on the table or the racket. This allows, using a physical model of rebound, to refinethe estimates of the kinematic parameters of the ball. It is then possible to compute the racket's speed and orientation after the stroke and to deduce relevant performance indicators. Two databases have been built: the first one is made of real game sequence acquisitions. The second is a synthetic dataset that reproduces the acquisition conditions of the previous one. This allows us to validate our methods as the physical parameters used to generate it are known.Finally, we present our participation to the Sport\&Vision task of the MediaEval challenge on the classification of human actions, using approaches based on the analysis and representation of movement.
Dans cette thèse, nous nous intéressons à la caractérisation et à l’analyse fine de gestes sportifs dans des vidéos, et plus particulièrement à l’analyse non-intrusive 3D en vision mono caméra. Notre cas d’étude est le tennis de table. Nous proposons une méthode de reconstruction des positions 3D des balles en utilisant une caméra rapide (240 fps) calibrée. Pour cela, nous définissons et entraînons un réseau convolutif qui permet d’extraire des images le diamètre apparent de la balle. La connaissance du diamètre réel de la balle permet de calculer la distance caméra/balle puis de positionner cette dernière dans un repère 3D lié à la table. Ensuite, nous utilisons un modèle physique, prenant en compte l’effet Magnus, pour estimer les paramètres cinématiques de la balle à partir de ses positions 3D successives. La méthode proposée segmente les trajectoires à partir des impacts de la balle sur la table ou la raquette, ce qui permet, en utilisant un modèle physique de rebond, d’affiner les estimations des paramètres cinématiques de la balle puis de calculer la vitesse et l’angle de la raquette lors de la frappe et d’en déduire des indicateurs de performance pertinents. Deux bases de données ont été construites : la première est constituée d’acquisitions de séquences réelles de jeu et la seconde, synthétique, reproduit les conditions d'acquisition de la première et permet de valider nos méthodes, les paramètres physiques utilisés pour la générer étant connus. Enfin, nous présentons notre participation à la tâche Sport\&Vision du challenge MediaEval sur la classification d'actions humaines, par des approches basées sur l'analyse et la représentation du mouvement.
Domaines
Traitement des images [eess.IV]
Origine : Version validée par le jury (STAR)