Representing, tracking, and evaluating user's changing knowledge and needs in information retrieval
Représenter, suivre et évaluer les connaissances et besoins des utilisateurs et leur évolution dans le cadre de la recherche d'information
Résumé
The use of search tools has become an integral part of our daily lives, providing a readily accessible source of information and facilitating our acquisition of knowledge. However, while these tools are efficient in delivering factual data and adapting results based on contextual factors such as location, device, and interests, they are not optimized to support users' learning goals or account for their changing knowledge states. The user's knowledge is not static but rather dynamic, as they enter a search session with existing knowledge and continue to acquire knowledge during the search process. When using current search tools for learning purposes, it may require submitting multiple queries and reviewing numerous documents, some of which may lack relevance, resulting in increased time consumption in finding the desired information.The field of adapting search systems for learning objectives, commonly known as "search-as-learning," has recently gained significant attention. However, we argue that before adapting these systems to support learning, it is crucial to understand how users learn and acquire knowledge, and how to structure this information in the systems. Additionally, evaluating these systems presents challenges as existing retrieval methods and evaluation measures often overlook the representation and tracking of users' knowledge. Furthermore, there is a lack of available datasets for measuring the effectiveness of systems that claim to support learning during search sessions.In this thesis, we aim to overcome these issues by firstly, exploring and proposing various approaches for representing users' learning goals in search systems. We propose a framework that can dynamically track the users' evolving knowledge and needs and estimate the user's learning outcome at any time during the search session. Secondly, we propose a novel evaluation measure that dynamically evaluates documents and ranked lists of documents with respect to changing user needs and evolving knowledge. Furthermore, we construct a dataset to track the evolution of the users' knowledge throughout the search sessions, which will serve as a benchmark for other researchers. Finally, we propose a theoretical framework for implementing these concepts in an agent-based system with rule-based reasoning capabilities.
L'utilisation des systèmes de recherche d'information est désormais un élément essentiel de notre quotidien, offrant une source d'information riche et facile d'accès. Cependant, bien que ces systèmes, tels que les moteurs de recherche, soient efficaces pour fournir des données factuelles et adapter les résultats en fonction de facteurs contextuels tels que la localisation, l'appareil et les intérêts, ils ne sont pas optimisés pour soutenir les objectifs d'apprentissage des utilisateurs ni tenir compte de l'évolution de leurs connaissances. Les connaissances de l'utilisateur ne sont pas statiques, mais plutôt dynamiques. L'utilisateur entame une session de recherche avec des connaissances préexistantes et continue d'acquérir des connaissances pendant le processus de recherche. Afin de trouver des informations dans le but d'apprendre sur un sujet, il peut être nécessaire de soumettre plusieurs requêtes et de visiter de nombreux sites, dont certains peuvent manquer de pertinence, ce qui entraîne une perte de temps pour trouver l'information souhaitée.Le domaine de l'adaptation des systèmes de recherche pour les objectifs d'apprentissage, communément appelé "recherche comme apprentissage" ou "search as learning", a récemment suscité beaucoup d'attention. Cependant, nous soutenons qu'avant d'adapter ces systèmes pour soutenir l'apprentissage, il est crucial de comprendre comment les utilisateurs apprennent et acquièrent des connaissances, ainsi que la manière de structurer ces informations dans les systèmes. De plus, l'évaluation de ces systèmes présente des défis, car les méthodes de recherche et les mesures d'évaluation existantes négligent souvent la représentation et le suivi des connaissances des utilisateurs. Il existe un manque de jeux de données disponibles pour mesurer l'efficacité des systèmes prétendant soutenir l'apprentissage pendant les sessions de recherche.Dans cette thèse, notre objectif est de surmonter ces problèmes en proposant tout d'abord différentes approches pour représenter les objectifs d'apprentissage des utilisateurs dans les systèmes de recherche. Nous proposons un cadre qui peut suivre de manière dynamique l'évolution des connaissances et des besoins des utilisateurs, et estimer le résultat d'apprentissage de l'utilisateur à tout moment pendant la session de recherche. Deuxièmement, nous proposons une nouvelle mesure d'évaluation qui évalue dynamiquement les documents et les listes classées de documents par rapport aux besoins changeants de l'utilisateur et à l'évolution de ses connaissances. Nous construisons ensuite un jeu de données permettant de suivre l'évolution des connaissances des utilisateurs tout au long des sessions de recherche, qui servira de référence pour les autres chercheurs. Enfin, nous proposons un cadre théorique pour implémenter ces concepts dans un système basé sur un agent doté de capacités de raisonnement basées sur des règles.
Origine : Version validée par le jury (STAR)