Visualization for interpretation and explicability of deep learning models predictions in NLP

Visualisation pour l'interprétation et l'explicabilité des prédictions issues de modèles d'apprentissage profond en TAL

Alexis Delaforge (1)

1 LIRMM | ADVANSE - ADVanced Analytics for data SciencE

Deep neural networks have shown, over the last decade, a significant increase in performance for many predictive tasks. Nevertheless, their complexity (large number of trainable parameters) make them appear as black boxes to the users, with the latter having difficulties in the understanding of their predictions. Recently, the interest of the scientific community in interpreting their predictions is significantly increased. In this thesis, we focus on data visualization techniques that leverage importantly the improvement of their interpretability.First, we propose a new visualization approach to explain the predictions of neural networks in a binary text classification setting, that is addressed to regular as well as to users who are neural networks experts. This visualization is based on the construction of localities in the text representation space. The visualization of the decision boundary is then made using distances similar to those present the representation space.We also propose a second approach for presenting the predictions of neural networks, for a multiclass text classification task. It is addressed to users who are not neural network experts. This module focuses primarily on a case study: the investigation of mentions, in the social media, of non-pharmaceutical interventions used that are linked to cancer.In general, this work has opened promising perspectives on the production of explanations based on the decision boundary and on the exploration of data from social media.

Les réseaux de neurones profonds ont montré, cette dernière décennie, un important accroissement des performances pour de nombreuses tâches prédictives. Néanmoins, leur grand nombre de paramètres en font des boîtes noires, que les utilisateurs ont du mal à s'approprier. Récemment, la communauté s'est intéressée à l'interprétation de leur fonctionnement. Dans cette thèse, nous nous focalisons sur les techniques de visualisation de données qui sont un levier important pour améliorer l'interprétabilité des réseaux de neurones.Tout d'abord, nous proposons une nouvelle approche pour expliquer les prédictions des réseaux de neurones dans une tâche de classification dichotomique de textes. Elle s'adresse à des spécialistes ou utilisateurs réguliers de réseaux de neurones. Cette visualisation repose sur la construction de localités dans l'espace de représentation des textes et la visualisation de la frontière de décision avec des distances fidèles à celles présentes dans l'espace de représentation au sein d'une localité.Nous proposons également une seconde approche pour présenter les prédictions des réseaux de neurones, pour une tâche de classification multiclasse de textes. Elle s'adresse à des non spécialistes des réseaux de neurones. Cette étude se focalise sur un cas d'étude, celui de l'exploration des mentions d'interventions non-médicamenteuses liées au cancer dans les médias sociaux.De manière générale, ces travaux ont ouvert des perspectives prometteuses sur la production d'explications exploitant la frontière de décision et sur l'exploration des données issues des médias sociaux.

Mots clés: Deep learning; Textual data; Vizualisation; Data science; Social networks; Cancer

Mots clés: Deep learning; Données textuelles; Visualisaton; Sciences des données; Réseaux sociaux; Cancer

Domaines: Informatique et langage [cs.CL]; Système d'exploitation [cs.OS]; Cancer

Alexis Delaforge. Visualisation pour l'interprétation et l'explicabilité des prédictions issues de modèles d'apprentissage profond en TAL. Informatique et langage [cs.CL]. Université de Montpellier, 2022. Français. ⟨NNT : 2022UMONS033⟩. ⟨tel-04096353⟩