Classification with generative probabilistic models and neural networks. Applications to natural language processing

Classification avec des modèles probabilistes génératifs et des réseaux de neurones. Applications au traitement des langues naturelles

Elie Azeraf (1, 2, 3)

1 IP Paris - Institut Polytechnique de Paris
2 TSP - CITI - Communications, Images et Traitement de l'Information
3 TIPIC-SAMOVAR - Traitement de l'Information Pour Images et Communications

Many probabilistic models have been neglected for classification tasks with supervised learning for several years, as the Naive Bayes or the Hidden Markov Chain. These models, called generative, are criticized because the induced classifier must learn the observations' law. This problem is too complex when the number of observations' features is too large. It is especially the case with Natural Language Processing tasks, as the recent embedding algorithms convert words in large numerical vectors to achieve better scores.This thesis shows that every generative model can define its induced classifier without using the observations' law. This proposition questions the usual categorization of the probabilistic models and classifiers and allows many new applications. Therefore, Hidden Markov Chain can be efficiently applied to Chunking and Naive Bayes to sentiment analysis.We go further, as this proposition allows to define the classifier induced from a generative model with neural network functions. We "neuralize" the models mentioned above and many of their extensions. Models so obtained allow to achieve relevant scores for many Natural Language Processing tasks while being interpretable, able to require little training data, and easy to serve.

Un nombre important de modèles probabilistes connaissent une grande perte d'intérêt pour la classification avec apprentissage supervisé depuis un certain nombre d'années, tels que le Naive Bayes ou la chaîne de Markov cachée. Ces modèles, qualifiés de génératifs, sont critiqués car leur classificateur induit doit prendre en compte la loi des observations, qui peut s'avérer très complexe à apprendre quand le nombre de features de ces derniers est élevé. C'est notamment le cas en Traitement des Langues Naturelles, où les récents algorithmes convertissent des mots en vecteurs numériques de grande taille pour atteindre de meilleures performances.Au cours de cette thèse, nous montrons que tout modèle génératif peut définir son classificateur sans prendre en compte la loi des observations. Cette proposition remet en question la catégorisation connue des modèles probabilistes et leurs classificateurs induits - en classes générative et discriminante - et ouvre la voie à un grand nombre d'applications possibles. Ainsi, la chaîne de Markov cachée peut être appliquée sans contraintes à la décomposition syntaxique de textes, ou encore le Naive Bayes à l'analyse de sentiments.Nous allons plus loin, puisque cette proposition permet de calculer le classificateur d'un modèle probabiliste génératif avec des réseaux de neurones. Par conséquent, nous « neuralisons » les modèles cités plus haut ainsi qu'un grand nombre de leurs extensions. Les modèles ainsi obtenus permettant d'atteindre des scores pertinents pour diverses tâches de Traitement des Langues Naturelles tout en étant interprétable, nécessitant peu de données d'entraînement, et étant simple à mettre en production.

Mots clés: Probabilistic generative models; Neural networks; Classification; Generative; Discriminative; Natural language processing

Mots clés: Modèle probabiliste génératifs; Réseaux de neurones; Classification; Génératif; Discriminant; Traitement des langues naturelles

Domaines: Réseau de neurones [cs.NE]; Apprentissage [cs.LG]; Mathématiques générales [math.GM]

Elie Azeraf. Classification avec des modèles probabilistes génératifs et des réseaux de neurones. Applications au traitement des langues naturelles. Réseau de neurones [cs.NE]. Institut Polytechnique de Paris, 2022. Français. ⟨NNT : 2022IPPAS011⟩. ⟨tel-03880848⟩