Addressing the Challenges of I/O Variability in Post-Petascale HPC Simulations

Matthieu Dorier 1, 2
1 KerData - Scalable Storage for Clouds and Beyond
Inria Rennes – Bretagne Atlantique , IRISA-D1 - SYSTÈMES LARGE ÉCHELLE
Résumé : La barre du million de coeurs a été atteinte en 2012 avec le supercalculateur Sequoia à LLNL et, en suivant la loi de Moore, des supercalculateurs dits Exascale (atteignant 10E18 flops) sont attendus pour 2018. Une telle puissance de calcul est mise à profit dans de nombreux domaines de recherche tels que les sciences de la Terre, la biologie, le climat ou l'astrophysique, domaines dans lesquels les simulations à large échelle sont employées pour mieux comprendre les phénomènes physiques qui nous entourent. Ces simulations ont vocation de remplacer des expériences réelles qui peuvent être trop coûteuses, trop dangereuses ou simplement irréalisables. Mais des machines de plus en plus grosses mènent à une production accrue de données. Ces données doivent être stockées et traitées efficacement en vue d'en tirer un résultat scientifique. L'approche traditionnelle de gestion de données consiste à stocker les données produites par la simulation dans des fichiers pendant que celle-ci s'exécute, et à analyser ces fichiers plus tard, lorsque la simulation est terminée. Alors que le fossé s'élargit entre les performances des supercalculateurs et les performances de leurs systèmes de stockage, cette approche devient difficilement soutenable. Cette thèse de doctorat explore de nouvelles approches pour la gestion de données dans les supercalculateurs post-pétaflopiques. Nous commençons par présenter Damaris, une approche tirant parti des noeuds multicoeurs afin de dédier des coeurs aux tâches d'entrées-sorties (E/S). Nous étudions notamment comment Damaris permet de cacher la variabilité des E/S, et comment il peut permettre la visualisation in situ des simulations sans en affecter les performances. Enfin grâce à Damaris nous évaluons la consommation énergétique de plusieurs approches pour les E/S. Dans un deuxième temps, nous étudions l'effet de la concurrent inter-application sur les performances des systèmes de stockage. Nous proposons CALCioM, une approche fournissant une couche de coordination entre applications distinctes, et permet d'éviter les interférences d'E/S. Constatant que la plupart des applications HPC ont un comportement répétitif en termes d'E/S, nous proposons Omnisc'IO, une approche qui se base sur des grammaires formelles pour prédire les caractéristiques spatiales et temporelles des futurs accès E/S en temps réel. Cette thèse inclut des résultats d'expériences réalisées avec des simulations scientifiques réelles: CM1, GTC, LAMMPS et Nek5000, sur des plateformes post-petaflopiques telles que Blue Waters (NCSA), Titan (ORNL), Kraken (NICS) et Intrepid (ANL).
Type de document :
Thèse
Distributed, Parallel, and Cluster Computing [cs.DC]. Ecole Normale Supérieure de Rennes, 2014. English
Liste complète des métadonnées

Littérature citée [130 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01099105
Contributeur : Matthieu Dorier <>
Soumis le : mercredi 31 décembre 2014 - 13:05:13
Dernière modification le : vendredi 16 novembre 2018 - 01:40:48
Document(s) archivé(s) le : samedi 15 avril 2017 - 12:15:31

Identifiants

  • HAL Id : tel-01099105, version 1

Relations

Citation

Matthieu Dorier. Addressing the Challenges of I/O Variability in Post-Petascale HPC Simulations. Distributed, Parallel, and Cluster Computing [cs.DC]. Ecole Normale Supérieure de Rennes, 2014. English. 〈tel-01099105〉

Partager

Métriques

Consultations de la notice

1052

Téléchargements de fichiers

1032