Learning Information Retrieval Functions and Parameters on Unlabeled Collections
Apprentissage des fonctions de la recherche d'information et leurs paramètres sur des collections non-étiquetées
Résumé
The present study focuses on (a) predicting parameters of already existing standard IR models and (b) learning new IR functions.
We first explore various statistical methods to estimate the collection parameter of family of information based models (Chapter 2). This parameter determines the behavior of a term in the collection. In earlier studies, it was set to the average number of documents where the term appears, without full justification. We introduce here a fully formalized estimation method which leads to improved versions of these models over the original ones. But the method developed is applicable only to estimate the collection parameter under the information model framework.
To alleviate this we propose a transfer learning approach which can predict values for any parameter for any IR model (Chapter 3). This approach uses relevance judgments on a past collection to learn a regression function which can infer parameter values for each single query on a new unlabeled target collection. The proposed method not only outperforms the standard IR models with their default parameter values, but also yields either better or at par performance with popular parameter tuning methods which use relevance judgments on target collection.
We then investigate the application of transfer learning based techniques to directly transfer relevance information from a source collection to derive a “pseudo-relevance” judgment on an unlabeled target collection (Chapter 4). From this derived pseudo- relevance a ranking function is learned using any standard learning algorithm which can rank documents in the target collection. In various experiments the learned function outperformed standard IR models as well as other state-of-the-art transfer learning based algorithms.
Though a ranking function learned through a learning algorithm is effective still it has a predefined form based on the learning algorithm used. We thus introduce an exhaustive discovery approach to search ranking functions from a space of simple functions (Chapter 5). Through experimentation we found that some of the discovered functions are highly competitive with respect to standard IR models.
Dans cette thèse, nous nous intéressons (a) à l’estimation des paramètres de modèles standards de Recherche d’Information (RI), et (b) à l’apprentissage de nouvelles fonctions de RI.
Nous explorons d’abord plusieurs méthodes permettant, a priori, d'estimer le paramètre de collection des modèles d'information (chapitre 2). Jusquà présent, ce paramètre était fixé au nombre moyen de documents dans lesquels un mot donné apparaissait. Nous présentons ici plusieurs méthodes destimation de ce paramètre et montrons quil est possible daméliorer les performances du système de recherche dinformation lorsque ce paramètre est estimé de faon adéquate.
Pour cela, nous proposons une approche basée sur l’apprentissage de transfert qui peut prédire les valeurs de paramètre de n’importe quel modèle de RI (chapitre 3). Cette approche utilise des jugements de pertinence d’une collection de source existante pour apprendre une fonction de régression permettant de prédire les paramètres optimaux d’un modèle de RI sur une nouvelle collection cible non-étiquetée. Avec ces paramètres prédits, les modèles de RI sont non-seulement plus performants que les młme modèles avec leurs paramètres par défaut mais aussi avec ceux optimisés en utilisant les jugements de pertinence de la collection cible.
Nous étudions ensuite une technique de transfert permettant d’induire des pseudo- jugements de pertinence des couples de documents par rapport à une requłte donnée d’une collection cible (chapitre 4). Ces jugements de pertinence sont obtenus grce à une grille d’information récapitulant les caractéristiques principale d’une collection. Ces pseudo-jugements de pertinence sont ensuite utilisés pour apprendre une fonction d’ordonnancement en utilisant n’importe quel algorithme d’ordonnancement existant. Dans les nombreuses expériences que nous avons menées, cette technique permet de construire une fonction d’ordonnancement plus performante que d’autres proposées dans l’état de l’art.
Dans le dernier chapitre de cette thèse (chapitre 5), nous proposons une technique exhaustive pour rechercher des fonctions de RI dans l’espace des fonctions existantes en utilisant un grammaire permettant de restreindre l’espace de recherche et en respectant les contraintes de la RI. Certaines fonctions obtenues sont plus performantes que les modèles de RI standards.
Loading...
