Some Visualization Models applied to the Analysis of Parallel Applications
Quelques Modèles de Visualisation pour l'Analyse des Applications Parallèles
Abstract
Highly distributed systems such as grids are used today for the execution of large-scale parallel applications. Some characteristics of these systems are the complex resource interconnection that might be present and the scalability. The interconnection complexity comes from the different number of hops to provide communication among applications processes and differences in network latencies and bandwidth. The scalability means that the resources can be added indefinitely just by connecting them to the existing infrastructure. These characteristics influence directly the way parallel applications performance must be analyzed. Current traditional visualization schemes to this analysis are usually based on Gantt charts with one dimension to list the monitored entities and the other dimension dedicated to time. These visualizations are generally not suited to parallel applications executed in grids. The first reason is that they were not built to offer to the developer an analysis that also shows the network topology of the resources. The second reason is that traditional visualization techniques do not scale well when thousands of monitored entities must be analyzed together. This thesis tries to overcome the issues encountered on traditional visualization techniques for parallel applications. The main idea behind our efforts is to explore techniques from the information visualization research area and to apply them in the context of parallel applications analysis. Based on this main idea, the thesis proposes two visualization models: the three-dimensional and the visual aggregation model. The former might be used to analyze parallel applications taking into account the network topology of the resources. The visualization itself is composed of three dimensions, where two of them are used to render the topology and the third is used to represent time. The later model can be used to analyze parallel applications composed of several thousands of processes. It uses hierarchical organization of monitoring data and an information visualization technique called Treemap to represent that hierarchy. Both models represent a novel way to visualize the behavior of parallel applications, since they are conceived considering large-scale and complex distributed systems, such as grids. The implications of this thesis are directly related to the analysis and understanding of parallel applications executed in distributed systems. It enhances the comprehension of patterns in communication among processes and improves the possibility of matching this patterns with real network topology of grids. Although we extensively use the network topology example, the approach could be adapted with almost no changes to the interconnection provided by a middleware of a logical interconnection. With the scalable visualization technique, developers are able to look for patterns and observe the behavior of large-scale applications.
Les systèmes distribués, tels que les grilles, sont utilisés aujourd'hui pour l'exécution des grandes applications parallèles. Quelques caractéristiques de ces systèmes sont l'interconnexion complexe de ressources qui pourraient être présent et de la facile passage à l'échelle. La complexité d'interconnexion vient, par exemple, d'un nombre plus grand de directives de routage pour la communication entre les processus et une latence variable dans le temps. La passage à l'échelle signifie que des ressources peuvent être ajoutées indéfiniment simplement en les reliant à l'infrastructure existante. Ces caractéristiques influencent directement la façon dont la performance des applications parallèles doit être analysée. Les techniques de visualisation traditionnelles pour cette analyse sont généralement basées sur des diagrammes de Gantt que disposent la liste des composants de l'application verticalement et metent la ligne du temps sur l'axe horizontal. Ces représentations visuelles ne sont généralement pas adaptés à l'analyse des applications exécutées en parallèle dans les grilles. La première raison est qu'elles n'ont pas été conçues pour offrir aux développeurs une analyse qui montre aussi la topologie du réseau des ressources. La deuxième raison est que les techniques de visualisation traditionnels ne s'adaptent pas bien quand des milliers d'entités doivent être analysés ensemble. Cette thèse tente de résoudre les problèmes des techniques traditionnelles dans la visualisation des applications parallèles. L'idée principale est d'exploiter le domaine de la visualisation de l'information et essayer d'appliquer ses concepts dans le cadre de l'analyse des programmes parallèles. Portant de cette idée, la thèse propose deux modèles de visualisation: les trois dimensions et le modèle d'agrégation visuelle. Le premier peut être utilisé pour analyser les programmes parallèles en tenant compte de la topologie du réseau. L'affichage lui-même se compose de trois dimensions, où deux sont utilisés pour indiquer la topologie et la troisième est utilisée pour représenter le temps. Le second modèle peut être utilisé pour analyser des applications parallèles comportant un très grand nombre de processsus. Ce deuxième modèle exploite une organisation hiérarchique des données utilisée par une technique appelée Treemap pour représenter visuellement la hiérarchie. Les implications de cette thèse sont directement liées à l'analyse et la compréhension des applications parallèles exécutés dans les systèmes distribués. Elle améliore la compréhension des modes de communication entre les processus et améliore la possibilité d'assortir les motifs avec cette topologie de réseau réel sur des grilles. Bien que nous utilisons abondamment l'exemple de la topologie du réseau, l'approche pourrait être adapté, avec presque pas de changements, à l'interconnexion fourni par un middleware d'une interconnexion logique. Avec la technique d'agrégation, les développeurs sont en mesure de rechercher des patterns et d'observer le comportement des applications à grande échelle.
Loading...