Etude de propriétés d'apprentissage supervisé et non supervisé par des méthodes de Physique Statistique

Résumé : L'objet de cette thèse est l'étude de diverses propriétés d'apprentissage à partir d'exemples par des méthodes de Physique Statistique, notamment, par la méthode des répliques. Des tâches supervisées, correspondant à la classification binaire de données, ainsi que des tâches non supervisées, comme l'estimation paramétrique d'une densité de probabilité, sont considérées. Dans la première partie, une approche variationnelle permet de déterminer la performance de l'apprentissage optimal d'une direction d'anisotropie, et de déduire une fonction de coût permettant d'obtenir ces performances optimales. Dans le cas de l'apprentissage supervisé d'une tâche linéairement séparable, des simulations numériques confirmant nos résultats théoriques ont permis de déterminer les effets de taille finie. Dans le cas d'une densité de probabilité constituée de deux gaussiennes, la performance de l'apprentissage optimal présente de nombreuses transitions de phases en fonction du nombre de données. Ces résultats soulèvent une controverse entre la théorie variationnelle et l'approche bayesienne de l'apprentissage optimal. Dans la deuxième partie, nous étudions deux approches différentes de l'apprentissage de tâches de classification complexes. La première approche considérée est celle des machines à exemples supports. Nous avons étudié une famille de ces machines pour laquelle les séparateurs linéaire et quadratique sont deux cas particuliers. La capacité, les valeurs typiques de la marge et du nombre d'exemples supports, sont déterminées. La deuxième approche considérée est celle d'une machine de parité apprenant avec un algorithme incrémental. Cet algorithme construit progressivement un réseau de neurones à une couche cachée. La capacité théorique obtenue pour l'algorithme considéré est proche de celle de la machine de parité.
Type de document :
Thèse
Analyse de données, Statistiques et Probabilités [physics.data-an]. Université Joseph-Fourier - Grenoble I, 1999. Français


https://tel.archives-ouvertes.fr/tel-00001642
Contributeur : Arnaud Buhot <>
Soumis le : jeudi 5 septembre 2002 - 11:26:55
Dernière modification le : vendredi 11 septembre 2015 - 09:48:41
Document(s) archivé(s) le : vendredi 2 avril 2010 - 19:59:29

Identifiants

  • HAL Id : tel-00001642, version 1

Collections

UJF | CEA

Citation

Arnaud Buhot. Etude de propriétés d'apprentissage supervisé et non supervisé par des méthodes de Physique Statistique. Analyse de données, Statistiques et Probabilités [physics.data-an]. Université Joseph-Fourier - Grenoble I, 1999. Français. <tel-00001642>

Exporter

Partager

Métriques

Consultations de
la notice

244

Téléchargements du document

3296