Recognition and Modeling of Manipulation Actions
Reconnaissance et modélisation des action de manipulation
Abstract
Manipulation actions transform manipulated objects from some pre-existing state into a new state. This thesis addresses the problem of recognition, modelling of human manipulation activities. We study modelling manipulation actions as state transformations. We describe results on three problems: (1) the use of transfer learning for simultaneous visual recognition of objects and object states, (2) the recognition of manipulation actions from state transitions, and (3) the use of reversible actions as data augmentation technique for manipulation action recognition.
These results have been developed using food preparation activities as an experimental domain. We start by recognizing food classes such as tomatoes and lettuce and food states, such as sliced and diced, during meal preparation. We use multi-task learning to jointly learn the representations of food items and food states using transfer learning. We model actions as the transformation of object states. We use recognised object properties (state and type) to learn corresponding manipulation actions. We augment training data with examples from reversible actions while training. Experimental performance evaluation for this approach is provided using the 50 salads and EPICKitchen
datasets.
Les actions de manipulation transforment les objets manipulés d’un état préexistant en un nouvel état. Cette thèse aborde le problème de la reconnaissance, de la modélisation des activités de manipulations humaines. Nous décrivons nos résultats sur trois problèmes : (1) l’utilisation de l’apprentissage par transfert pour la reconnaissance visuelle simultanée d’objets et de leurs états, (2) la reconnaissance d’actions de manipulation à partir de transitions d’états, et (3) l’utilisation d’actions réversibles comme technique d’augmentation de données pour la reconnaissance d’actions de manipulation.
Ces résultats ont été développés en utilisant les activités culinaires comme domaine expérimental. Nous commençons par reconnaître les ingrédients (comme les tomates et la laitue) ainsi que leurs états (tranchés ou coupés en dés par exemple) pendant la préparation d’un repas. Nous utilisons l’apprentissage multitâche pour apprendre conjointement les représentations des ingrédients et de leurs états selon une approche par transfert d’apprentissage. Nous modélisons les actions en tant que transformations d’états d’objets. Nous utilisons les propriétés reconnues des objets (état et type) pour apprendre les actions de manipulation correspondantes. Nous augmentons les données de formation avec des exemples d’actions réversibles pendant la formation. L’évaluation expérimentale de cette approche est réalisée en se servant des jeux de données 50 salads et EPIC-Kitchen.
Origin : Files produced by the author(s)
Loading...