A Framework for Robustness Testing of Communicating Protocols
Cadre Formel pour le Test de Robustesse des Protocoles de Communication
Résumé
In the telecommunication field, protocols have to be seriously validated before their startup. Thus, it is necessary to test the conformance of a protocol, but it is also important to test its robustness in presence of unexpected events. Although a precise definition of robustness is somewhat elusive, functionally the meaning is clear : the ability of a system, conform
to its nominal specification, to function in an acceptable way in the presence of hazards. The term "hazards" will be used to gather faults and stressful conditions.
The aim of this document is to provide a formal framework for robustness testing for Internet protocols. In order to decide the robustness of an Implementation Under Test (IUT), a clear criterion is needed, taking into account the system behaviors in the presence of hazards. The main contributions of this document are :
(1) A framework for robustness testing including an
approach, a formal definition of robustness and a test generation method from system specification modelled by an IOLTS. Our approach consists in two methods :
- The method TRACOR deals with robustness testing in the presence of controllable and representable hazards. It consists in enriching the nominal specification (i.e. protocol standard specification) with invalid inputs, inopportune inputs, acceptable outputs and suspension traces in order to get an increased specification.
- The method TRACON deals with with robustness testing in the presence of controllable and unrepresentable hazards. It consists in enriching the nominal specification with acceptable outputs and suspension traces in order to obtain a half-increased specification.
(2) In order to formalize the robustness of an
implementation compared to the increased specification, we propose a binary relation, called "Robust", based on the observation of outputs and quiescence of an implementation after executing of traces containing hazards.
(3) In order to generate robustness test cases, we propose a specific method based on coloring of the increased specification (or the half-increased specification). This method allows to
generate robustness test cases from the increased specification or the half-increased specification using robustness test purposes.
(4) The theoretical background of our approach is
implemented in the RTCG tool. This application provides three main interfaces, the first one permits to obtain the increased specification, the second one permits to generate robustness test cases using the method TRACOR, and the third one automates the method TRACON.
(5) We show how to apply our approach in communicating protocols through a case study on the SSL protocol and TCP.
to its nominal specification, to function in an acceptable way in the presence of hazards. The term "hazards" will be used to gather faults and stressful conditions.
The aim of this document is to provide a formal framework for robustness testing for Internet protocols. In order to decide the robustness of an Implementation Under Test (IUT), a clear criterion is needed, taking into account the system behaviors in the presence of hazards. The main contributions of this document are :
(1) A framework for robustness testing including an
approach, a formal definition of robustness and a test generation method from system specification modelled by an IOLTS. Our approach consists in two methods :
- The method TRACOR deals with robustness testing in the presence of controllable and representable hazards. It consists in enriching the nominal specification (i.e. protocol standard specification) with invalid inputs, inopportune inputs, acceptable outputs and suspension traces in order to get an increased specification.
- The method TRACON deals with with robustness testing in the presence of controllable and unrepresentable hazards. It consists in enriching the nominal specification with acceptable outputs and suspension traces in order to obtain a half-increased specification.
(2) In order to formalize the robustness of an
implementation compared to the increased specification, we propose a binary relation, called "Robust", based on the observation of outputs and quiescence of an implementation after executing of traces containing hazards.
(3) In order to generate robustness test cases, we propose a specific method based on coloring of the increased specification (or the half-increased specification). This method allows to
generate robustness test cases from the increased specification or the half-increased specification using robustness test purposes.
(4) The theoretical background of our approach is
implemented in the RTCG tool. This application provides three main interfaces, the first one permits to obtain the increased specification, the second one permits to generate robustness test cases using the method TRACOR, and the third one automates the method TRACON.
(5) We show how to apply our approach in communicating protocols through a case study on the SSL protocol and TCP.
Dans le domaine des télécommunications, il est indispensable de valider rigoureusement les protocoles avant de les mettre en service. Ainsi, il faut non seulement tester la conformité d'un protocole, mais il s'avère aussi nécessaire de tester sa robustesse face à
des événements imprévus. La littérature concernant le test de robustesse est beaucoup moins conséquente que le test de conformité. A travers ce document, nous considérons la définition de la robustesse suivante : "la capacité d'un système, conforme à sa spécification nominale, à adopter un comportement acceptable en présence d'aléas". Notre approche se fonde sur l'analyse du comportement du système face à des aléas. On considérera comme aléa tout événement non prévu amenant le système à une impossibilité temporaire ou définitive d'exécuter une action. Les contributions principales de ce document sont brièvement présentées ci-dessous :
(1) Proposition d'un cadre formel comportant une approche, une relation de robustesse et méthode pour générer les cas de test de robustesse d'un système modélisé sous forme d'IOLTS. Notre approche comporte deux méthodes :
- La méthode TRACOR (Test de Robustesse en présence d'Aléas COntrôlables et Représentables) consiste à vérifier la robustesse d'un système en présence d'aléas contrôlables et représentables. Cette méthode intègre les entrées invalides, entrées inopportunes, sorties
acceptables et traces de blocage dans la spécification nominale, pour obtenir une spécification augmentée. Cette dernière servira de base pour la génération de séquences de test de robustesse.
- La méthode TRACON (Test de Robustesse en présence d'Aléas COntrôlables et Non représentables) est focalisée sur le test de robustesse en présence d'aléas contrôlables et non représentables. Elle consiste à enrichir la spécification nominale par les sorties acceptables et les traces de suspension afin d'obtenir la spécification semi-augmentée. Cette dernière servira de base pour la génération de séquences de test de robustesse.
(2) Pour formaliser la robustesse d'une implémentation vis-à-vis de la spécification augmentée (ou la spécification semi-augmentée), nous proposons une relation binaire, appelée "Robust", basée sur l'observation des sorties et blocages de l'implémentation après l'exécution de traces comportant les aléas.
(3) Afin de générer les cas de test de robustesse, nous proposons une méthode basée sur un coloriage de la spécification augmentée (ou la spécification semi-augmentée) et un ensemble d'objectifs de test de robustesse.
(4) Les fondements de notre approche sont implémentés dans l'outil RTCG. Cette application offre trois interfaces. La première et la deuxième permettent d'automatiser la méthode TRACOR. La troisième interface permet d'automatiser la méthode TRACON.
(5) Une étude de cas, sur les protocoles SSL handshake et TCP, montrant une évaluation
pratique de notre approche.
des événements imprévus. La littérature concernant le test de robustesse est beaucoup moins conséquente que le test de conformité. A travers ce document, nous considérons la définition de la robustesse suivante : "la capacité d'un système, conforme à sa spécification nominale, à adopter un comportement acceptable en présence d'aléas". Notre approche se fonde sur l'analyse du comportement du système face à des aléas. On considérera comme aléa tout événement non prévu amenant le système à une impossibilité temporaire ou définitive d'exécuter une action. Les contributions principales de ce document sont brièvement présentées ci-dessous :
(1) Proposition d'un cadre formel comportant une approche, une relation de robustesse et méthode pour générer les cas de test de robustesse d'un système modélisé sous forme d'IOLTS. Notre approche comporte deux méthodes :
- La méthode TRACOR (Test de Robustesse en présence d'Aléas COntrôlables et Représentables) consiste à vérifier la robustesse d'un système en présence d'aléas contrôlables et représentables. Cette méthode intègre les entrées invalides, entrées inopportunes, sorties
acceptables et traces de blocage dans la spécification nominale, pour obtenir une spécification augmentée. Cette dernière servira de base pour la génération de séquences de test de robustesse.
- La méthode TRACON (Test de Robustesse en présence d'Aléas COntrôlables et Non représentables) est focalisée sur le test de robustesse en présence d'aléas contrôlables et non représentables. Elle consiste à enrichir la spécification nominale par les sorties acceptables et les traces de suspension afin d'obtenir la spécification semi-augmentée. Cette dernière servira de base pour la génération de séquences de test de robustesse.
(2) Pour formaliser la robustesse d'une implémentation vis-à-vis de la spécification augmentée (ou la spécification semi-augmentée), nous proposons une relation binaire, appelée "Robust", basée sur l'observation des sorties et blocages de l'implémentation après l'exécution de traces comportant les aléas.
(3) Afin de générer les cas de test de robustesse, nous proposons une méthode basée sur un coloriage de la spécification augmentée (ou la spécification semi-augmentée) et un ensemble d'objectifs de test de robustesse.
(4) Les fondements de notre approche sont implémentés dans l'outil RTCG. Cette application offre trois interfaces. La première et la deuxième permettent d'automatiser la méthode TRACOR. La troisième interface permet d'automatiser la méthode TRACON.
(5) Une étude de cas, sur les protocoles SSL handshake et TCP, montrant une évaluation
pratique de notre approche.
Fichier principal
these-saad-khorchef-fares.pdf (1.63 Mo)
Télécharger le fichier
soutenance-fares-saad-khorchef.pdf (1.15 Mo)
Télécharger le fichier
Format : Autre