Contributions to reasoned automation of various processes of software testing
Contributions à l'automatisation raisonnée de différents processus du test logiciel
Résumé
Testing is the main activity in software validation. For reducing the testing costs and increasing the system under test quality, it is essential to provide automated test solutions and to ensure the productivity of test engineers. The work presented in this document aims at contributing to these objectives. These works are based on three axes. The first one concerns test generation. The originality of the work relies in establishing principles for the production of combinatorial test suites from abstract expressions. These principles have been implemented in a tool called Tobias. When large test suites are produced, it is important to automate the test oracle. A second focus is to assess the usability of assertions to determine the test verdicts for domotic applications. The results show that the assertions can actually be used, but that the execution of these applications in a live environment, which is not completely controllable and observable, may result in biaised verdicts. Thus, automating test generation and test oracle reduces the cost of the testing phase. But to reduce the cost of testing, it is also important to consider the internal factors related to the software testability. Many metrics have been proposed to predict and estimate the testability of a system. A third line of research concerns the evaluation and the experimental validation of these metrics. The results of experiments demonstrate that the studied metrics cannot be directly used to predict the test cost.
Le test constitue aujourd'hui la principale activité de validation d'un logiciel. Dans un contexte où l'on cherche à réduire les coûts et augmenter la qualité, il est essentiel de proposer des solutions de test automatisées et de veiller à la productivité des ingénieurs de test. Les travaux présentés dans ce mémoire ont l'ambition de contribuer à ces objectifs. Ces travaux se déclinent selon trois axes. Le premier axe concerne la génération de tests. L'originalité du travail se situe dans l'établissement de principes pour la production combinatoire de suites de test, à partir d'expressions abstraites. Ces principes ont été implantés dans un outil appelé Tobias. Lorsque de grandes suites de test sont produites, il est important d'automatiser l'oracle des tests. Un deuxième axe vise à évaluer l'utililisabilité des assertions pour établir le verdict des tests pour des applications domotiques. Les résultats montrent que les assertions sont effectivement utilisables, mais que l'exécution de ces applications dans un environnement réel non complètement contrôlable ou observable peut conduire en l'émission de verdicts biaisés. Ainsi, l'automatisation de la génération et de l'oracle permet de réduire le coût de la phase de test. Mais, pour réduire le coût du test, il est aussi important de considérer les facteurs internes au logiciel relatifs à la testabilité. De nombreuses métriques ont été proposées pour prédire et estimer la testabilité d'un système. Un troisième axe de recherche concerne l'évaluation la validation expérimentale de ces métriques. Les résultats des expérimentations démontrent que les métriques étudiées ne sont pas directement utilisables pour prédire le coût du test.
Loading...