Contribution to machine reading comprehension with deep neural networks
Contribution à la lecture automatique à l’aide de réseaux neuronaux profonds
Résumé
Natural Language Understanding is one of the most challenging objectives of Artificial Intelligence. In this dissertation, we describe our contributions related to this field. We investigate several directions that we believe are crucial to build better human language understanding systems. The beginning of the thesis covers essential concepts by proposing a brief history of word representations, machine reading, and automatic text summarization. It describes the diverse objectives that have driven the research community during the last years until the latest revolution of deep learning models for natural language processing. The first theme developed in this thesis is related to machine reading comprehension or question-answering. Our contributions in this domain are related to aspects: evaluation data, training algorithms, and model design.In this first theme, we propose a question-answering dataset that challenges the relational reasoning competencies of the reader. Then, we discuss our proposed adversarial training algorithm. We designed it to automatically challenge a reading model with corrupted examples in order to improve its performance. Eventually, we describe our work on multi-hop question answering. Machine reading is a vast framework, and novel types of tasks have recently been proposed to evaluate different competencies of reading models. Multi-hop question-answering is one of them and requires the reader to collect multiple pieces of text over a set of documents to answer a question. We believe that this task represents an additional step toward better human understanding models, and we propose our contribution to this domain with an efficient and interpretable deep learning approach. The burst of deep learning associated with the increasing computational power of modern machines led to impressive achievements in natural language processing.However, these recent architectures tend to be evaluated on tasks that require reading only pieces of text of limited length. The second theme covers in this thesis is related to learning long document representations with state-of-the-art deep learning architectures. We describe our proposition to extend such powerful approaches to tasks that require processing longer documents. We evaluated this proposition on an extractive summarization task of long scientific documents and present some exciting results with minimum adaptation from available works.
La compréhension automatique du langage naturel est un défi important de l'intelligence artificielle.Dans cette dissertation, nous décrivons l'ensemble de nos contributions apportées à ce domaine.Nous présentons plusieurs directions que nous pensons cruciales à la construction de meilleurs systèmes de traitement automatique du langage naturel.La première partie de cette dissertation couvre certains concepts essentiels notamment en proposant un historique rapide de la représentation vectorielle de mots ainsi que des tâches de lecture et de résumé automatique de texte.Cette partie décrit certains des principaux objectifs qui ont guidés la recherche durant ces dernières années jusqu'à la récente révolution de l'apprentissage profond appliquée au traitement du langage naturel.Le premier thème développé dans cette thèse concerne la compréhension automatique de texte au travers de la tâche de question-réponse.Nos contributions dans ce domaine sont liées à trois aspects principaux : les données d'évaluation, les algorithmes d'apprentissage, la construction de nouveaux modèles.Dans ce premier thème, nous proposons un jeu de données de question-réponse permettant d'évaluer les compétences de raisonnement relationnel du système de lecture.Ensuite, nous proposons un protocole d'apprentissage adversarial ayant pour but de générer automatiquement des exemples bruités afin d'améliorer les performances du modèle de lecture.Finalement, nous décrivons nos travaux proposés dans le cadre de question-réponse multi-hop. La tâche de question-réponse est assez générale et de nouveaux types de questions ont émergés ces dernières années dans le but d'évaluer différentes compétences des modèles de lecture.Les questions multi-hop font partie de ces nouvelles directions et nécessite au lecteur de collecter de l'information dans plusieurs parties de documents afin de répondre correctement à une question.Nous pensons que cette tâche est un pas de plus vers la construction de meilleurs modèles de compréhension du langage et proposons notre contribution au travers d'un modèle de lecture efficace et interprétable.L'explosion de l'apprentissage profond associé à l'augmentation de la puissance de calcul des machines modernes à conduit à des progrès remarquables dans le domaine du traitement du langage naturel.Cependant, les récentes architectures développées ont tendance à être évaluées sur des tâches nécessitant de lire uniquement des textes de taille relativement modérée.Le deuxième thème couvert dans cette thèse concerne l'apprentissage de représentations de textes longs en utilisant différentes architectures d'apprentissage profond état de l'art.Nous décrivons notre proposition ayant pour but d'améliorer les récentes approches proposées, en les adaptant pour des tâches nécessitant le traitement de documents longs.Nous avons évalué cette proposition sur une tâche de résumé extractif de textes scientifiques et présentons des résultats encourageants ne nécessitant qu'une adaptation minimale des architectures existantes.
Origine : Version validée par le jury (STAR)