Deep representation learning for time series averaging
Apprentissage en profondeur des représentations pour la moyenne des séries chronologiques
Résumé
The estimation of an optimal time series average has been studied for over four decades. In practice, time series averages are often key inputs to most temporal data mining techniques. For instance, in one nearest centroid classification, time series averages serve as a template for the identification of class membership. Additionally, in most time series clustering techniques, averages define the center of gravity for cluster formation. To this end, in practice, the constraints placed on time series averages are not trivial. In this regard, time series averages are expected to preserve the most descriptive features (shapes) that are observed in the averaged set. They are expected to preserve the shapes while minimizing the discrepancy between themselves and members of the averaged set. However, in reality, meeting the demands of such constraints is not trivial due to temporal distortion (shifts) that could arise for various reasons. For instance, a difference in the behavior of observed entities, difference in the sampling rate of sensors, and a difference in size (shape) of objects from which temporal datasets are extracted are some examples of sources of temporal distortion. In practice, such sources of temporal shifts often misalign most descriptive shapes observed in an averaged set. To this end, in most cases, an arithmetic mean becomes a sub optimal estimate for practical considerations. With this understanding, over the course of four decades, a range of time series averaging heuristics have been proposed. In general, all the proposed averaging heuristics suggest aligning members of an averaged set prior to estimating an average. However, even if the alignment minimizes the impact of temporal distortion, it often introduces additional challenges. For instance, all pioneering averaging heuristics that utilize Dynamic Time Warping (DTW) as an alignment technique have a computational complexity that is directly proportional to the number and dimension of the averaged series. With such observations in mind, in this dissertation, we avoid approaching time series averaging as a multiple alignment problem. On the contrary, we see time series averaging as a generative challenge. To this end, we first proposed to augment time series averages from the latent space of neural networks. In this regard, we first proposed to augment the averages from the latent space of variational and non-variational autoencoders. After accessing these proposals, we then modified the overall architecture and placed constraints that further refined the quality of extracted latent space features. In this aspect, we proposed multi-tasking autoencoders that performed multi-class classification and reconstruction. We mainly utilized the classifier to force the latent space features dense and separable which in turn mimicked the effects of multiple alignments. With this modification, we are able to provide time domain estimates that are far better than the arithmetic mean. However, we also noticed that the multi-tasking setup can further be refined by addressing limitations observed in the objective function. After addressing this limitation, we are able to provide a stateof-the-art latent space registration. Moreover, we are also able to provide time-domain estimates that are far better than the estimates of a time domain arithmetic mean and some of the DTW based averaging heuristics.
L'estimation d'une moyenne optimale de séries temporelles est étudiée depuis plus de quatre décennies. En pratique, les moyennes de séries temporelles sont souvent des entrées clés pour la plupart des techniques d'exploration de données temporelles. Par exemple, dans la classification par centroïde le plus proche, les moyennes de séries temporelles servent de modèle pour l'identification de l'appartenance à une classe. De plus, dans la plupart des techniques de clustering de séries temporelles, les moyennes définissent le centre de gravité pour la formation de clusters. À cette fin, dans la pratique, les contraintes imposées aux moyennes de séries chronologiques ne sont pas triviales. À cet égard, les moyennes de séries temporelles sont censées préserver les caractéristiques les plus descriptives (formes) observées dans l'ensemble des moyennes. Elles sont censées préserver les formes tout en minimisant l'écart entre elles-mêmes et les membres de l'ensemble moyenné. Cependant, dans la réalité, répondre aux exigences de telles contraintes n'est pas trivial en raison des distorsions temporelles (décalages) qui peuvent survenir pour diverses raisons. Par exemple, une différence dans le comportement des entités observées, une différence dans le taux d'échantillonnage des capteurs, et une différence dans la taille (forme) des objets dont les ensembles de données temporelles sont extraits sont quelques exemples de sources de distorsion temporelle. En pratique, de telles sources de décalage temporel désalignent souvent la plupart des formes descriptives observées dans un ensemble moyenné. À cette fin, dans la plupart des cas, une moyenne arithmétique devient une estimation sous-optimale pour des considérations pratiques. Avec cette compréhension, au cours de quatre décennies, une gamme d'heuristiques de moyenne de séries temporelles a été proposée. En général, toutes les heuristiques de moyennage proposées suggèrent d'aligner les membres d'un ensemble moyenné avant d'estimer une moyenne. Cependant, même si l'alignement minimise l'impact de la distorsion temporelle, il introduit souvent des défis supplémentaires. Par exemple, toutes les heuristiques de moyennage pionnières qui utilisent le Dynamic Time Warping (DTW) comme technique d'alignement ont une complexité de calcul qui est directement proportionnelle au nombre et à la dimension des séries moyennées. Avec de telles observations à l'esprit, dans cette thèse, nous évitons d'aborder le moyennage de séries temporelles comme un problème d'alignement multiple. Au contraire, nous voyons la moyenne de séries temporelles comme un défi génératif. À cette fin, nous avons d'abord proposé d'augmenter les moyennes de séries temporelles à partir de l'espace latent des réseaux neuronaux. À cet égard, nous avons d'abord proposé d'augmenter les moyennes de l'espace latent des autoencodeurs variationnels et non variationnels. Après avoir accédé à ces propositions, nous avons ensuite modifié l'architecture globale et placé des contraintes qui ont affiné la qualité des caractéristiques de l'espace latent extraites. Dans cet aspect, nous avons proposé des autoencodeurs multitâches qui effectuent une classification et une reconstruction multi-classes. Nous avons principalement utilisé le classificateur pour forcer les caractéristiques de l'espace latent à être denses et séparables, ce qui a permis d'imiter les effets des alignements multiples. Grâce à cette modification, nous sommes en mesure de fournir des estimations dans le domaine temporel qui sont bien meilleures que la moyenne arithmétique. Cependant, nous avons également remarqué que la configuration multi-tâches peut être affinée en traitant les limitations observées dans la fonction objectif. Après avoir résolu cette limitation, nous sommes en mesure de fournir un enregistrement de l'espace latent à la pointe de la technologie. [...]
Origine : Version validée par le jury (STAR)