Skip to Main content Skip to Navigation
Theses

KerA : A Unified Ingestion and Storage System for Scalable Big Data Processing

Résumé : Le Big Data est maintenant la nouvelle ressource naturelle. Les architectures actuelles des environnements d'analyse des données massives sont constituées de trois couches: les flux de données sont acquis par la couche d’ingestion (e.g., Kafka) pour ensuite circuler à travers la couche de traitement (e.g., Flink) qui s’appuie sur la couche de stockage (e.g., HDFS) pour stocker des données agrégées ou pour archiver les flux pour un traitement ultérieur. Malheureusement, malgré les bénéfices potentiels apportés par les couches spécialisées (e.g., une mise en oeuvre simplifiée), déplacer des quantités importantes de données à travers ces couches spécialisées s’avère peu efficace: les données devraient être acquises, traitées et stockées en minimisant le nombre de copies. Cette thèse propose la conception et la mise en oeuvre d’une architecture unifiée pour l’ingestion et le stockage de flux de données, capable d'améliorer le traitement des applications Big Data. Cette approche minimise le déplacement des données à travers l’architecture d'analyse, menant ainsi à une amélioration de l’utilisation des ressources. Nous identifions un ensemble de critères de qualité pour un moteur dédié d’ingestion des flux et stockage. Nous expliquons l’impact des différents choix architecturaux Big Data sur la performance de bout en bout. Nous proposons un ensemble de principes de conception d’une architecture unifiée et efficace pour l’ingestion et le stockage des données. Nous mettons en oeuvre et évaluons le prototype KerA dans le but de gérer efficacement divers modèles d’accès: accès à latence faible aux flux et/ou accès à débit élevé aux flux et/ou objets.
Document type :
Theses
Complete list of metadatas

Cited literature [138 references]  Display  Hide  Download

https://tel.archives-ouvertes.fr/tel-02127065
Contributor : Abes Star :  Contact
Submitted on : Monday, May 13, 2019 - 10:58:01 AM
Last modification on : Wednesday, June 24, 2020 - 4:19:47 PM
Document(s) archivé(s) le : Wednesday, October 2, 2019 - 11:11:55 AM

File

pdfa_TheseOvidiuCristian.pdf
Version validated by the jury (STAR)

Identifiers

  • HAL Id : tel-02127065, version 1

Citation

Ovidiu-Cristian Marcu. KerA : A Unified Ingestion and Storage System for Scalable Big Data Processing. Other [cs.OH]. INSA de Rennes, 2018. English. ⟨NNT : 2018ISAR0028⟩. ⟨tel-02127065⟩

Share

Metrics

Record views

280

Files downloads

386