Skip to Main content Skip to Navigation
Theses

Addressing the Challenges of I/O Variability in Post-Petascale HPC Simulations

Matthieu Dorier 1, 2
1 KerData - Scalable Storage for Clouds and Beyond
Inria Rennes – Bretagne Atlantique , IRISA-D1 - SYSTÈMES LARGE ÉCHELLE
Résumé : La barre du million de coeurs a été atteinte en 2012 avec le supercalculateur Sequoia à LLNL et, en suivant la loi de Moore, des supercalculateurs dits Exascale (atteignant 10E18 flops) sont attendus pour 2018. Une telle puissance de calcul est mise à profit dans de nombreux domaines de recherche tels que les sciences de la Terre, la biologie, le climat ou l'astrophysique, domaines dans lesquels les simulations à large échelle sont employées pour mieux comprendre les phénomènes physiques qui nous entourent. Ces simulations ont vocation de remplacer des expériences réelles qui peuvent être trop coûteuses, trop dangereuses ou simplement irréalisables. Mais des machines de plus en plus grosses mènent à une production accrue de données. Ces données doivent être stockées et traitées efficacement en vue d'en tirer un résultat scientifique. L'approche traditionnelle de gestion de données consiste à stocker les données produites par la simulation dans des fichiers pendant que celle-ci s'exécute, et à analyser ces fichiers plus tard, lorsque la simulation est terminée. Alors que le fossé s'élargit entre les performances des supercalculateurs et les performances de leurs systèmes de stockage, cette approche devient difficilement soutenable. Cette thèse de doctorat explore de nouvelles approches pour la gestion de données dans les supercalculateurs post-pétaflopiques. Nous commençons par présenter Damaris, une approche tirant parti des noeuds multicoeurs afin de dédier des coeurs aux tâches d'entrées-sorties (E/S). Nous étudions notamment comment Damaris permet de cacher la variabilité des E/S, et comment il peut permettre la visualisation in situ des simulations sans en affecter les performances. Enfin grâce à Damaris nous évaluons la consommation énergétique de plusieurs approches pour les E/S. Dans un deuxième temps, nous étudions l'effet de la concurrent inter-application sur les performances des systèmes de stockage. Nous proposons CALCioM, une approche fournissant une couche de coordination entre applications distinctes, et permet d'éviter les interférences d'E/S. Constatant que la plupart des applications HPC ont un comportement répétitif en termes d'E/S, nous proposons Omnisc'IO, une approche qui se base sur des grammaires formelles pour prédire les caractéristiques spatiales et temporelles des futurs accès E/S en temps réel. Cette thèse inclut des résultats d'expériences réalisées avec des simulations scientifiques réelles: CM1, GTC, LAMMPS et Nek5000, sur des plateformes post-petaflopiques telles que Blue Waters (NCSA), Titan (ORNL), Kraken (NICS) et Intrepid (ANL).
Complete list of metadatas

Cited literature [130 references]  Display  Hide  Download

https://tel.archives-ouvertes.fr/tel-01099105
Contributor : Matthieu Dorier <>
Submitted on : Wednesday, December 31, 2014 - 1:05:13 PM
Last modification on : Friday, July 10, 2020 - 4:06:31 PM
Document(s) archivé(s) le : Saturday, April 15, 2017 - 12:15:31 PM

Identifiers

  • HAL Id : tel-01099105, version 1

Relations

Citation

Matthieu Dorier. Addressing the Challenges of I/O Variability in Post-Petascale HPC Simulations. Distributed, Parallel, and Cluster Computing [cs.DC]. Ecole Normale Supérieure de Rennes, 2014. English. ⟨tel-01099105⟩

Share

Metrics

Record views

1247

Files downloads

1397