Performance and Cost Optimization for Distributed Cloud-Native Systems

Optimisation des performances et des coûts pour les systèmes cloud natifs distribués

Ashraf Mahgoub (1)

1 Purdue University [West Lafayette]

We investigate the problem of performance and cost optimization for two types of cloudnative distributed systems: NoSQL data-stores and Serverless DAG applications. First, NoSQL data-stores provide a set of features that is demanded by high performance computing (HPC) applications such as scalability, availability and schema flexibility. High performance computing (HPC) applications, such as metagenomics and other big data systems, need to store and analyze huge volumes of semi-structured data. Such applications often rely on NoSQL-based datastores, and optimizing these databases is a challenging endeavor, with over 50 configuration parameters in Cassandra alone. As the application executes, database workloads can change rapidly over time (e.g. from read-heavy to writeheavy), and a system tuned for one phase of the workload becomes suboptimal when the workload changes.

Nous étudions le problème de l'optimisation des performances et des coûts pour deux types de systèmes distribués natifs du cloud : les magasins de données NoSQL et les applications DAG sans serveur. Premièrement, les magasins de données NoSQL fournissent un ensemble de fonctionnalités exigées par les applications de calcul haute performance (HPC), telles que l'évolutivité, la disponibilité et la flexibilité des schémas. Les applications de calcul haute performance (HPC), telles que la métagénomique et d'autres systèmes de mégadonnées, doivent stocker et analyser d'énormes volumes de données semi-structurées. Ces applications s'appuient souvent sur des datastores basés sur NoSQL, et l'optimisation de ces bases de données est une entreprise difficile, avec plus de 50 paramètres de configuration dans Cassandra uniquement. Au fur et à mesure que l'application s'exécute, les charges de travail de la base de données peuvent changer rapidement au fil du temps (par exemple, de lourdes lectures à lourdes en écriture), et un système réglé pour une phase de la charge de travail devient sous-optimal lorsque la charge de travail change.

Mots clés: Cloud computing; distributed database; Cloud computing; Cloud computing; Cloud computing; Cloud computing; Cloud computing

Mots clés: Cloud computing; base de données distribuée; Cloud computing; Cloud computing; Cloud computing; Cloud computing; Cloud computing

Domaines: Calcul parallèle, distribué et partagé [cs.DC]

Ashraf Mahgoub. Performance and Cost Optimization for Distributed Cloud-Native Systems. Distributed, Parallel, and Cluster Computing [cs.DC]. Purdue University, 2022. English. ⟨NNT : ⟩. ⟨tel-03792194⟩