Consideration of spatial and temporal information for image time series analysis
Prise en compte de l'information spatiale et temporelle pour l'analyse de séquences d'images
Abstract
The evolution of digital technology has allowed the multiplicity of image sensors, leading every day to the production of masses of visual data. In some contexts, these data can take the form of 2D images time series leading to 3D data that we note 2D+t. This type of data is frequent in several domains such as remote surveillance or remote sensing. Because of their dimensions, the analysis and interpretation of this mass of data is a major challenge in computer vision. This thesis is in the context of the exploitation of these data in order to classify them, by exploiting the maximum the wealth of spatial and temporal information carried by these data. The research works presented in this manuscript includes two methods that proceed differently but whose common point is based on a change of the representation of the initial data. The first method is based on the extraction of hand-crafted features while the second one is based on the use of machine learning methods, in particular deep convolutional neural networks. Through these two methods, we propose to study the temporal stability of image times series with hand-crafted features and to study their spatial and temporal variability with deep convolutional neural networks. The two methods are then evaluated on two different applications. One is related to satellite image time series and the other is related to surveillance camera videos. The experimental results illustrate the interest of the proposed methods.
L'évolution de la technologie numérique a permis la multiplicité des capteurs d'images avec lesquels des masses de données visuelles sont quotidiennement produites. Dans certains contextes, ces données peuvent prendre la forme de séquences temporelles d'images 2D conduisant à des données 3D que nous noterons 2D+t. Ce type de données est fréquent dans plusieurs domaines tels que la télésurveillance ou la télédétection. De par leur dimension, l'analyse et l'interprétation de toute cette masse de données constitue un des défis importants en vision par ordinateur. Cette thèse s'inscrit dans le contexte de l'exploitation de ces données afin de pouvoir les classifier, en exploitant au maximum la richesse des informations spatiales et temporelles portées par ces données. Les travaux de recherche présentés dans ce manuscrit comprennent deux méthodes qui procèdent différemment mais dont le point commun repose sur un changement de représentation des données initiales. La première méthode se base sur l'extraction de caractéristiques expertes (hand-crafted) tandis que la deuxième concerne l'utilisation des méthodes d'apprentissage automatique, en particulier les réseaux de neurones convolutifs profonds. À travers ces deux méthodes, nous nous proposons d'étudier la stabilité temporelle des séquences temporelles d'images avec les caractéristiques expertes et étudier leurs variabilités spatiale et temporelle avec les réseaux de neurones convolutifs profonds. Les deux méthodes sont ensuite évaluées sur deux applications différentes. Une de ses applications concerne les séries temporelles d'images satellitaires et l'autre concerne les vidéos de caméra de surveillance. Les résultats expérimentaux illustrent l’intérêt des méthodes proposées.
Origin : Version validated by the jury (STAR)