On the Method of Moments for Estimation in Latent Variable Models

Anastasia Podosinnikova 1, 2, 3
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Résumé : Les modèles linéaires latentes sont des modèles statistique puissants pour extraire la structure latente utile à partir de données non structurées par ailleurs. Ces modèles sont utiles dans de nombreuses applications telles que le traitement automatique du langage naturel et la vision artificielle. Pourtant, l’estimation et l’inférence sont souvent impossibles en temps polynomial pour de nombreux modèles linéaires latents et on doit utiliser des méthodes approximatives pour lesquelles il est difficile de récupérer les paramètres. Plusieurs approches, introduites récemment, utilisent la méthode des moments. Elles permettent de retrouver les paramètres dans le cadre idéalisé d’un échantillon de données infini tiré selon certains modèles, mais ils viennent souvent avec des garanties théoriques dans les cas où ce n’est pas exactement satisfait. Ceci n’est pas le cas pour les méthodes couramment utilisés, fondées sur l’inférence variationnelle et l’échantillonnage ce qui rend les méthodes à base de moment particulièrement intéressantes. Dans cette thèse, nous nous concentrons sur les méthodes d’estimation fondées sur l’appariement de moment pour différents modèles linéaires latents. L’utilisation d’un lien étroit avec l’analyse en composantes indépendantes, qui est un outil bien étudié par la communauté du traitement du signal, nous présentons plusieurs modèles semiparamétriques pour la modélisation thématique et dans un contexte multi-vues. Nous présentons des méthodes à base de moment ainsi que des algorithmes pour l’estimation dans ces modèles, et nous prouvons pour ces méthodes des résultats de complexité améliorée par rapport aux méthodes existantes. Nous donnons également des garanties d’identifiabilité, contrairement à d’autres modèles actuels. C’est une propriété importante pour assurer leur interprétabilité. Pour tous les modèles mentionnés, nous effectuons une comparaison expérimentale extensive des algorithmes associés, à la fois sur des données synthétiques et des données réelles. Elle démontre leurs bonnes performances en pratique.
Type de document :
Thèse
Machine Learning [cs.LG]. Ecole Normale Superieure de Paris - ENS Paris, 2016. English
Liste complète des métadonnées

https://tel.archives-ouvertes.fr/tel-01489260
Contributeur : Anastasia Podosinnikova <>
Soumis le : mardi 14 mars 2017 - 13:05:39
Dernière modification le : mercredi 22 mars 2017 - 01:09:36
Document(s) archivé(s) le : jeudi 15 juin 2017 - 14:00:54

Identifiants

  • HAL Id : tel-01489260, version 1

Collections

Citation

Anastasia Podosinnikova. On the Method of Moments for Estimation in Latent Variable Models. Machine Learning [cs.LG]. Ecole Normale Superieure de Paris - ENS Paris, 2016. English. 〈tel-01489260〉

Partager

Métriques

Consultations de
la notice

301

Téléchargements du document

245