Design of a system that support multiple memory coherence models for shared virtual memory parallel machines
Conception d'un systeme supportant des modeles de coherence multiples pour les machines paralleles a memoire virtuelle partagee
Résumé
Programming with shared data in loosely coupled parallel architectures is generally supported by a software layer that simulates a unique memory. The great number of coherence operations needed to maintain the perfect abstraction of a physically shared memory often leads to performance degradation. To reverse this, researchers have proposed alternative memory consistency models that impose fewer constraints on the order of memory accesses. Unfortunately, reasoning with these new models is difficult, often requiring programmers to be aware of the distributed nature of the memory. The choice of a memory consistency model is hence a contract between performance and programmability. These two factors depend on how much complexity the user is ready to accept in order to have performance benefits. The reference behavior of parallel applications is also important in this choice. This thesis presents DIVA, a shared virtual memory system that supports multiple memory consistency models. With DIVA, the user is able to associate the execution of an application with a particular memory model. The user is also allowed to define new memory models and incorporate them into our system. The decision to support multiple memory models affected the design of several modules of our shared virtual memory system. For example, we proposed a unique synchronization interface and new mechanisms to deal with page replacement and prefetching. A prototype of DIVA was implemented in an Intel/Paragon parallel machine. We analyzed the behavior of an application under several memory models. This analysis showed that the choice of a memory model has a considerable impact on the performance of a parallel application.
La Memoire Distribuee Partagee a ete concue pour permettre aux utilisateurs d'une machine parallele sans memoire commune de profiter du modele de programmation a donnees partagees. Au plus bas niveau, les mecanismes qui simulent la memoire partagee communiquent par echange de messages. L'utilisateur, en revanche, garde un modele de programmation d'une machine virtuelle a memoire globale accessible directement par tous les processeurs du systeme. Une des approches souvent utilisees pour implanter la Memoire Distribuee Partagee est la memoire virtuelle partagee. En plus d'un espace d'adressage partage, la memoire virtuelle partagee approche offre un mecanisme de gestion de memoire virtuelle a trois niveaux. La memoire virtuelle partagee est une facon transparente et elegante d'implanter la memoire distribuee partagee. Helas, le desir d'offrir une abstraction parfaite d'une memoire unique a conduit a des systemes peu performants. Afin d'approcher des performances acceptables, plusieurs systemes a memoire virtuelle partagee ont relache certaines conditions de coherence de la memoire. Ces modeles offrent la possibilite d'atteindre des performances plus importantes que celles des modeles a coherence forte. Le prix a payer est l'augmentation de la complexite du modele de programmation. Neanmoins, les recherches plus recentes dans le domaine semblent montrer que le choix du modele de coherence de la memoire le plus adapte a une application depend des caracteristiques d'acces aux donnees de l'application. Cette these porte sur la conception d'une machine virtuelle capable d'offrir le support necessaire a la programmation a memoire partagee avec des modeles de coherence multiples. Un module de traitement generique de modeles de coherence et un mecanisme qui permet une interface uniforme de synchronisation ont ete concus dans ce but. La conception de ces mecanismes a ete faite en observant des criteres d'extensibilite de sorte a les adapter aux architectures massivement paralleles. Dans le domaine de la gestion de la memoire virtuelle, nous avons modifie quelques mecanismes classiques, notamment le remplacement et le prechargement des pages, pour les adapter a un environnement multi-modeles. Un prototupe a ete realise pour valider nos mecanismes. L'analyse du comportement d'une meme application dans deux modeles de coherence differents nous a permis de montrer que le choix du modele de coherence a une influence importante sur les performances d'une application.