Minimization of the overhead of communications in the parallelization of numerical algorithms.
Minimisation du sur-coût des communications dans la parallélisation des algorithmes numériques
Résumé
The aim of this thesis is the study of different methods to minimize the communication overhead due to the parallelization of numerical kernels. The first method consists in optimizing collective communications algorithms. We have proposed novel algorithms to achieve matrix transpose, for squared matrices distributed in a block fashion. We have also studied the total exchange problem. This communication scheme is useful in the parallelization of numerical kernels (as, for instance, the conjugate gradient algorithm). We have proposed efficient algorithms of total echange for torus topologies. The second method consists in overlapping communications by computations. We have studied some basic algorithmic principles which allow the overlap of communications. These ones are based on pipelinig technics and local computational task reordering. These technics have been illustrated in the parallelization of Fourier transform algorithms. The different implementations of these algrithms on various distributed memory parallel machines (Cray T3D, IBM SP2, Intel iPSC-860 and Paragon) highlight the gain of efficiency induced using thes technics.
Le but de ce memoire est d'étudier les voies possibles pour minimiser le sur-coût des communications consécutif à la parallélisation d'algorithmes numériques sur machines parallèles à mémoire distribuée. La première voie explorée consiste à optimiser les schémas de communication des données et résultats mis en oeuvre dans les versions parallèles de noyaux de calcul. Nous proposons notamment de nouveaux algorithmes pour réaliser une transposition de matrices carrées allouées par blocs, sur différentes topologies de réseaux d'interconnexion. Nous avons également étudié le problème de l'échange total. Ce schéma de communication se retrouve fréquemment dans les versions parallèles d'algorithmes numériques (comme dans l'algorithme du gradient conjugué). Nous proposons des algorithmes efficaces d'échange total pour des topologies toriques. La deuxième voie qui a été explorée consiste à recouvrir les communications par du calcul. Nous avons étudié quelques principes algorithmiques de base permettant de masquer au mieux les communications. Ceux-ci sont basés, notamment, sur des techniques d'enchainement de phases de calcul et de communication, ainsi que sur le re-ordonnancement local de tâches afin d'optimiser le recouvrement. Ces techniques sont illustrées sur des algorithmes parallèles de calcul de transformée de Fourier. Les différentes implantations de ces algorithmes sur de nombreuses machines parallèles à mémoire distribuée (T3D de Cray, SP2 d'IBM, iPSC-860 et Paragon d'Intel) montrent le gain en temps d'exécution apporté par ces méthodes.