Contributions to modern unsupervised learning: Case studies of multi-view clustering and unsupervised Deep Learning

Contributions à l'apprentissage non-supervisé moderne: Applications aux cas du clustering multi-vue et de l'apprentissage profond non-supervisé

Jérémie Sublime (1, 2)

1 ISEP - Institut Supérieur d'Electronique de Paris
2 LIPN - Laboratoire d'Informatique de Paris-Nord

This document is the manuscript presented in order to obtain the "Habilitation à Diriger des Recherches" of Sorbonne University (France), prepared at ISEP Engineering School where I am currently an Associate Professor. My main professional activities of research but also teaching and administrative work, since after I defended my PhD in November 2016, are described in this document. Since research is a continuum, it may also contain elements and recalls from previous works done between 2013 and 2016. In particular, my main axis of research is unsupervised learning, and in the first part of this manuscript I describe my contributions centered around two sub-axis: Unsupervised learning in multi-view environments, and deep learning applied to image processing (satellite and medical) in cases where no labeled data are available. These two sub-axis form the main chapters of this document and describe contributions both in terms of applications and theoretical findings. Issues such as the notion of confidence in unsupervised learning, weakly supervised learning with unreliable ground-truths, clustering stability, as well as the limitations and future evolutions of unsupervised learning are discussed in this manuscript.

Ce manuscrit d'Habilitation à diriger des recherches est la synthèse de mes travaux réalisés depuis 2016 en tant qu'enseignant-chercheur à l'ISEP et chercheur au LIPN dans l'équipe A3-ADA. J'y présente mes travaux autour de mon thème central de recherche : l'apprentissage non-supervisé. Ces travaux s'articulent autour de 2 grands axes : l'apprentissage non-supervisé dans un contexte multi-vue, et l'apprentissage non-supervisé profond. Ces deux axes découlent directement de mes travaux de thèses sur le clustering collaboratif appliqué aux images satellite à haute résolution. Mes travaux en apprentissage multi-vue non-supervisé abordent des thématiques telles que la confiance et la pondération des vues dans les environnements non-supervisés, les données manquantes dans un contexte multi-vue, mais aussi des aspects de modélisation du clustering multi-vue afin de théoriser des éléments tels que la stabilité de ce type de méthodes, mais aussi leur capacité à apporter de la nouveauté tout en gardant une cohérence avec les données locales. Mes travaux sur l'apprentissage profond dans un cadre non-supervisé découlent quant à eux du constat que la majorité des méthodes d'apprentissage profond les plus performantes sont supervisées et nécessitent d'importants volumes de données annotées pour leur entraînement. Or, quand on regarde les applications concrètes en imagerie, on s'aperçoit que dans la plupart des cas, ces données annotées ne sont pas disponibles (ou le sont trop tard), sont coûteuses à produire, et que les modèles une fois entraînés sont difficilement transférables. J'aborde donc dans mes travaux des architectures d'apprentissage profond adaptées à des contextes non-supervisés. A travers des applications en imagerie satellite (étude d'urbanisation, cartographie automatique de dégâts de catastrophes naturelles, etc.), ainsi qu'en imagerie médicale (étude de pathologies de l'oeil), mes travaux se sont intéressés à des architectures originales et ont pu en étudier les points forts et les limites.

Mots clés: Clustering Algorithm; Machine learning / Deep learning approaches; multiview learning

Mots clés: Apprentissage Automatique

Domaines: Apprentissage [cs.LG]; Intelligence artificielle [cs.AI]; Réseau de neurones [cs.NE]

Jérémie Sublime. Contributions to modern unsupervised learning: Case studies of multi-view clustering and unsupervised Deep Learning. Machine Learning [cs.LG]. Sorbonne Université, 2021. ⟨tel-03200791⟩