Deep learning methods for style extraction and transfer
Méthodes d'apprentissage approfondi pour l'extraction et le transfert de style
Résumé
One aspect of a successful human-machine interface (e.g. human-robot interaction, chatbots, speech, handwriting, ...etc) is the ability to have a personalized interaction. This affects the overall human experience, and allow for a more fluent interaction. At the moment, there is a lot of work that uses machine learning in order to learn to model for such interactions. However, most of these models do not address the issue of personalized behavior: they try to average over the different examples from different people in the training set. Identifying the human styles during the training and inference time open the possibility of biasing the models output to take into account the human preference. In this paper, we focus the problem of styles in the context of handwriting. However, defining and extracting handwriting styles is a challenging problem, since there is no formal definition for these styles (i.e. it is an ill-posed problem). A style is both social - depends on writer's training, especially at middle school - and idiosyncratic - depends on the writer's shaping (letter roundness, sharpness, size, slope) and force distribution across time. To add to the problem, till recently, there were no metrics to assess the quality of handwriting generation. The objective of the phd is to study the problem of style in the case of handwriting. Available to us is IRONOFF dataset, equipped with ~410 writers, with ~25K examples of uppercase, lowercase and number examples. The research involves: Proposal of work pipeline to study the problem of styles in handwriting. This will involve proposing benchmarks and probably evaluation criteria for the task. Leverage the power of deep learning in order to transfer from some tasks to new task, like from some letters (e.g, uppercase and numbers) to a different letters (e.g., the lowercase letters). Try to extract information/knowledge about the styles from the deep learning models used. Verify the previous steps in the wider range of human drawing. Another dataset will be used in this case, QuickDraw, a massive dataset with 50 million examples and 340 categories.
L'un des aspects d'une interface homme-machine réussie (p. ex. interaction homme-robot, chatbots, parole, écriture, etc.) est la capacité d'avoir une interaction personnalisée. Cela affecte l'expérience humaine globale et permet une interaction plus fluide. En ce moment, il y a beaucoup de travail qui utilise l'apprentissage machine afin d'apprendre à modéliser de telles interactions. Cependant, la plupart de ces modèles n'abordent pas la question du comportement personnalisé : ils tentent d'établir une moyenne à partir des différents exemples de différentes personnes de l'ensemble de formation. L'identification des styles humains au cours de la formation et le temps d'inférence ouvrent la possibilité de biaiser la sortie des modèles pour prendre en compte la préférence humaine. Dans cet article, nous nous concentrons sur le problème des styles dans le contexte de l'écriture manuscrite. Cependant, la définition et l'extraction des styles d'écriture est un problème difficile, puisqu'il n'existe pas de définition formelle pour ces styles (c'est-à-dire qu'il s'agit d'un problème mal posé). Un style est à la fois social - dépend de la formation de l'écrivain, surtout au collège - et idiosyncrasique - dépend de la forme de l'écrivain (rondeur de la lettre, netteté, taille, pente) et de la distribution des forces dans le temps. Pour ajouter au problème, jusqu'à récemment, il n'y avait pas de mesures pour évaluer la qualité de la génération de l'écriture manuscrite. L'objectif du doctorat est d'étudier le problème du style dans le cas de l'écriture manuscrite. Nous disposons d'un ensemble de données IRONOFF, équipé de ~410 écrivains, avec ~25K exemples de majuscules, minuscules et chiffres. La recherche implique : Proposition de pipeline de travail pour étudier le problème des styles dans l'écriture manuscrite. Il s'agira de proposer des repères et probablement des critères d'évaluation pour cette tâche. Tirez parti de la puissance de l'apprentissage profond pour passer de certaines tâches à de nouvelles tâches, comme certaines lettres (p. ex., majuscules et chiffres) à des lettres différentes (p. ex., lettres minuscules). Essayez d'extraire des informations et des connaissances sur les styles des modèles d'apprentissage profonds utilisés. Vérifier les étapes précédentes dans la gamme plus large du dessin humain. Un autre ensemble de données sera utilisé dans ce cas, QuickDraw, un énorme ensemble de données avec 50 millions d'exemples et 340 catégories.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...