Learn based Optimisation of Distributed Queries

Optimisation des requêtes distribuées par apprentissage

Lourdes Angélica Martínez-Medina (1, 2)

1 UGA [2016-2019] - Université Grenoble Alpes [2016-2019]
2 LIG - Laboratoire d'Informatique de Grenoble

Distributed data systems are becoming increasingly complex. They interconnect devices (e.g. smartphones, tablets, etc.) that are heterogeneous, autonomous, either static or mobile, and with physical limitations. Such devices run applications (e.g. virtual games, social networks, etc.) for the online interaction of users producing / consuming data on demand or continuously. The characteristics of these systems add new dimensions to the query optimization problem, such as multi-optimization criteria, scarce information on data, lack of global system view, among others. Traditional query optimization techniques focus on semi (or not at all) autonomous systems. They rely on information about data and make strong assumptions about the system behavior. Moreover, most of these techniques are centered on the optimization of execution time only. The difficulty for evaluating queries efficiently on nowadays applications motivates this work to revisit traditional query optimization techniques. This thesis faces the previous challenges by adapting the Case Based Reasoning (CBR) paradigm to query optimization process. This adaptation, associated to a pseudo-random exploration of the search of solutions provides a way to optimize queries when there is no prior knowledge of data. This approach focuses on the optimization of queries using cases generated from the evaluation of similar past queries. A query case comprises: (i) the query (the problem), (ii) the query plan (the solution) and (iii) the measures of computational resources consumed during the query plan execution (the evaluation of the solution). This thesis also concerns the way the CBR process interacts with the query plan generation process, allowing the exploration of the space of solutions. This process uses classical query optimization heuristics and makes decisions randomly when information on data is not available (e.g. for ordering joins, selecting algorithms or choosing message exchange protocols). This process also exploits the CBR principle for generating plans for subqueries, thus accelerating the learning of new cases. The propositions of this thesis have been validated with the CoBRa optimizer developed in the context of the UBIQUEST project.

Les systèmes de gestion de données distribuées deviennent de plus en plus complexes. Ils interagissent avec des réseaux de dispositifs fixes et/ou mobiles, tels que des smartphones ou des tablettes, dispositifs hétérogènes, autonomes et possédant des limitations physiques. Ces dispositifs exécutent des applications permettant l’interaction des usagers (i.e. jeux virtuels, réseaux sociaux). Ces applications produisent et consomment des données à tout moment voire même en continu. Les caractéristiques de ces systèmes ajoutent des dimensions au problème de l’optimisation de requêtes, telles que la variabilité des objectifs d’optimisation, l’absence d’information sur les données (métadonnées) ou le manque d’une vision globale du système. Les techniques traditionnelles d’optimisation des requêtes n’abordent pas (ou très peu) les systèmes autonomes. Elles se basent sur les métadonnées et font des hypothèses très fortes sur le comportement du système. En plus, la majorité de ces techniques d’optimisation ciblent uniquement l’optimisation du temps d’exécution. La difficulté d’évaluation des requêtes dans les applications modernes incite à revisiter les techniques traditionnelles d’optimisation. Cette thèse fait face aux défis décrits précédemment par l’adaptation du paradigme du Raisonnement à partir de cas (CBR pour Case-Based Reasoning) au problème de l’optimisation des requêtes. Cette adaptation, associée à une exploration pseudo-aléatoire de l’espace de solutions fournit un moyen pour optimiser des requêtes dans les contextes possédant très peu voire aucune information sur les données. Cette approche se concentre sur l’optimisation de requêtes en utilisant les cas générés précédemment dans l’évaluation de requêtes similaires. Un cas de requête et composé par : (i) la requête (le problème), (ii) le plan d’exécution (la solution) et (iii) les mesures de ressources utilisés par l’exécution du plan (l’évaluation de la solution). Cette thèse aborde également la façon que le processus CBR interagit avec le processus de génération de plan d’exécution de la requête qui doit permettre d’explorer l’espace des solutions. Ce processus utilise les heuristiques classiques et prennent des décisions de façon aléatoire lorsque les métadonnées viennent à manquer (e.g. pour l’ordre des jointures, la sélection des algorithmes, voire même le choix des protocoles d’acheminement de messages). Ce processus exploite également le CBR pour générer des plans pour des sous-requêtes, accélérant ainsi l’apprentissage de nouveaux cas. Les propositions de cette thèse ont été validées à l’aide du prototype CoBRA développé dans le contexte du projet UBIQUEST.

Mots clés: query optimisation; case based reasoning; dynamic environments

Mots clés: optimisation de requêtes; raisonnement par apprentissage; environnements dynamiques

Domaines: Base de données [cs.DB]

Lourdes Angélica Martínez-Medina. Learn based Optimisation of Distributed Queries. Databases [cs.DB]. Université Grenoble Alpes, 2014. English. ⟨NNT : ⟩. ⟨tel-01586508⟩