Branch-and-Bound with Peer-to-Peer for Large-Scale Grids
Branchement et Elagage sur Grilles Pair-à-Pair à Grande-Echelle
Résumé
This thesis aims at facilitating the deployment of distributed applications on large-scale Grids, using a peer-to-peer (P2P) infrastructure for computational Grids. Furthermore, this thesis also propose a framework for solving optimization problem with branch-and-bound (B&B) technique.
Existing models and infrastructures for P2P computing are rather disappointing: only independent worker tasks with in general no communications between tasks, and very low level API. This thesis proposes to define a P2P infrastructure of computational nodes and to provide large-scale Grids. The infrastructure is an unstructured P2P network self-organized and configurable, also allowing deployment of communicant applications.
P2P environment seems well adapted to applications with low communication/computation ratio, such as parallel search algorithms and more particularly B&B algorithm. In addition, this thesis defines a parallel B&B framework for Grids. This framework helps programmers to distribute their problems over Grids by hiding all distribution issues. The framework is built over a hierarchical master-worker approach and provides a transparent communication system among tasks to improve the computation speedup.
First, we realized an implementation of this P2P infrastructure on top of the ProActive Java Grid middleware, therefore benefiting from underlying features of ProActive. The P2P infrastructure was deployed as a permanent desktop Grid, with which we have achieved a computation world record by solving the n-queens problem for 25 queens. Second, we achieved an implementation of this B&B framework, also on top of ProActive. We demonstrate the scalability and efficiency of the framework by deploying an application for solving the flow-shop problem on a nationwide Grid (Grid'5000). Finally, we mixed this Grid with our permanent desktop Grid to experiment large-scale deployment of both n-queens and flow-shop.
Existing models and infrastructures for P2P computing are rather disappointing: only independent worker tasks with in general no communications between tasks, and very low level API. This thesis proposes to define a P2P infrastructure of computational nodes and to provide large-scale Grids. The infrastructure is an unstructured P2P network self-organized and configurable, also allowing deployment of communicant applications.
P2P environment seems well adapted to applications with low communication/computation ratio, such as parallel search algorithms and more particularly B&B algorithm. In addition, this thesis defines a parallel B&B framework for Grids. This framework helps programmers to distribute their problems over Grids by hiding all distribution issues. The framework is built over a hierarchical master-worker approach and provides a transparent communication system among tasks to improve the computation speedup.
First, we realized an implementation of this P2P infrastructure on top of the ProActive Java Grid middleware, therefore benefiting from underlying features of ProActive. The P2P infrastructure was deployed as a permanent desktop Grid, with which we have achieved a computation world record by solving the n-queens problem for 25 queens. Second, we achieved an implementation of this B&B framework, also on top of ProActive. We demonstrate the scalability and efficiency of the framework by deploying an application for solving the flow-shop problem on a nationwide Grid (Grid'5000). Finally, we mixed this Grid with our permanent desktop Grid to experiment large-scale deployment of both n-queens and flow-shop.
Cette thèse a pour objectif de faciliter le déploiement d'applications distribuées sur des grilles de calcul à grande échelle, en utilisant une infrastructure pair-à-pair (P2P) pour les grilles. De plus, cette thèse propose aussi une bibliothèque basée sur la technique << Elagage et Branchement >> (de l'anglais, Branch-and-Bound -- B&B) pour résoudre les problèmes d'optimisation combinatoire.
Les modèles et infrastructures pour le P2P existant sont plutôt décevants : seulement des tâches indépendantes généralement sans communication entre les tâches, et des API de bas niveau. Cette thèse propose une infrastructure P2P qui partage des noeuds de calcul, afin de fournir des grilles à grande échelle. L'infrastructure est un réseau P2P non-structuré, auto-organisé, configurable et qui permet le déploiement d'applications communicantes.
Les environnements P2P semblent être bien adaptés aux applications avec un faible ratio communication/computation, comme les algorithmes de recherche parallèle et plus particulièrement les algorithmes de B&B. En plus d'une infrastructure P2P, cette thèse propose une bibliothèque de B&B parallèle pour la grille. Cette bibliothèque aide les utilisateurs, en masquant toutes les difficultés liées à la distribution, à paralléliser leurs problèmes sur des grilles. La bibliothèque repose sur un modèle maître-travailleur hiérarchique et offre un système transparent de communication afin d'améliorer la vitesse de résolution.
Nous avons tout d'abord implémenté notre infrastructure P2P au-dessus de l'intergicielle Java pour la grille, ProActive. Cette infrastructure P2P a été déployée comme grille de bureau de manière permanente, avec laquelle nous avons pu réaliser un record mondial de calcul en résolvant le problème des n-reines avec 25 reines. Ensuite, nous avons aussi implémenté avec ProActive notre bibliothèque pour le B&B. Nous montrons le passage à l'échelle et l'efficacité de la bibliothèque en déployant sur une grille de taille nationale (Grid'5000) une application qui résout le problème du << flow-shop >>. Pour finir, nous avons mixé Grid'5000 et notre grille de bureau pour expérimenter le déploiement à grande échelle des n-reines et du flow-shop.
Les modèles et infrastructures pour le P2P existant sont plutôt décevants : seulement des tâches indépendantes généralement sans communication entre les tâches, et des API de bas niveau. Cette thèse propose une infrastructure P2P qui partage des noeuds de calcul, afin de fournir des grilles à grande échelle. L'infrastructure est un réseau P2P non-structuré, auto-organisé, configurable et qui permet le déploiement d'applications communicantes.
Les environnements P2P semblent être bien adaptés aux applications avec un faible ratio communication/computation, comme les algorithmes de recherche parallèle et plus particulièrement les algorithmes de B&B. En plus d'une infrastructure P2P, cette thèse propose une bibliothèque de B&B parallèle pour la grille. Cette bibliothèque aide les utilisateurs, en masquant toutes les difficultés liées à la distribution, à paralléliser leurs problèmes sur des grilles. La bibliothèque repose sur un modèle maître-travailleur hiérarchique et offre un système transparent de communication afin d'améliorer la vitesse de résolution.
Nous avons tout d'abord implémenté notre infrastructure P2P au-dessus de l'intergicielle Java pour la grille, ProActive. Cette infrastructure P2P a été déployée comme grille de bureau de manière permanente, avec laquelle nous avons pu réaliser un record mondial de calcul en résolvant le problème des n-reines avec 25 reines. Ensuite, nous avons aussi implémenté avec ProActive notre bibliothèque pour le B&B. Nous montrons le passage à l'échelle et l'efficacité de la bibliothèque en déployant sur une grille de taille nationale (Grid'5000) une application qui résout le problème du << flow-shop >>. Pour finir, nous avons mixé Grid'5000 et notre grille de bureau pour expérimenter le déploiement à grande échelle des n-reines et du flow-shop.
Fichier principal
thesis.pdf (4.17 Mo)
Télécharger le fichier
Defense.pdf (4.96 Mo)
Télécharger le fichier
Format : Autre