Contributions to the scalability of automatic precision tuning
Contributions au passage à l’échelle de l’optimisation de la précision des calculs
Résumé
Energy consumption is one of the major issues in computing today, shared by all domains of computer science, from high-performance computing to embedded systems. In recent years, approximation during computation has received renewed interest to improve energy efficiency. Many applications do not require high precision, thus hardware designers often trade-off the accuracy for cost reduction and speed-up. Various techniques for approximate computing augment the design space by providing another set of design knobs for performance-accuracy trade-off. This thesis focuses on developing methods for systematic exploration of this design space, including performance and accuracy modeling and design automation. We use fixed-point for data representation of signals and the results of their computations. We optimize the word length of each signal to get the good balance between the cost and the accuracy of the final design. This problem is called Word length Optimization (WLO) or automatic precision tuning. The thesis contributes to three research directions. First, a method is proposed to improve the scalability of WLO for large applications. To reduce exponential complexity in the nature of WLO, the input application is decomposed into smaller kernels, which are then solved independently using noise budgets to reduce the exploration time. To allocate noise budgets to each kernel, the main idea is to characterize the impact of approximating each kernel on accuracy and cost through simulation and regression to construct the empirical models. These models are then used to obtain the noise budgets. The second research direction is a hybrid algorithm combining Bayesian optimization (BO) and a fast local search to speed up the WLO procedure. An efficient mechanism is proposed to switch between the BO and the local search to obtain good designs in a short time. The last contribution opens a new research direction on resource-constrained WLO. State-of-the-art approaches mainly solve WLO given a quality (accuracy) constraint. In this study, a Bayesian optimization based algorithm was proposed to maximize the quality of computations constrained by a cost budget.
La consommation d'énergie est l'un des problèmes majeurs de l'informatique aujourd'hui, du calcul haute performance aux systèmes embarqués. Ces dernières années, l'approximation des calculs a reçu un regain d'intérêt pour améliorer l'efficacité énergétique. De nombreuses applications n'exigent pas une précision élevée, et les techniques de calcul approximatif augmentent l'espace de conception en fournissant de nombreux compromis entre la précision, les coûts et les performances. Cette thèse se concentre sur le développement de méthodes pour l'exploration systématique de cet espace de conception, y compris la modélisation de la performance et de la précision et l'automatisation de la conception. Nous utilisons la virgule fixe pour la représentation des données des données et nous optimisons la longueur du mot de chaque données et calcul pour chercher un bon équilibre entre le coût et la précision. Ce problème est appelé Word Length Optimization (WLO) ou réglage automatique de la précision. Cette thèse contribue à trois directions de recherche. Premièrement, une méthode est proposée pour améliorer le passage à l'échelle du WLO pour les grandes applications. Pour réduire la complexité exponentielle de la nature de WLO, l'application d'entrée est décomposée en noyaux qui sont ensuite résolus indépendamment. Pour allouer les budgets de réduction de précision à chaque noyau, l'idée principale est de caractériser l'impact de l'approximation de chaque noyau sur la précision et le coût par simulation et régression pour construire les modèles empiriques. La deuxième direction de recherche est un algorithme hybride combinant l'optimisation bayésienne (BO) et une recherche locale rapide pour accélérer la procédure WLO. Un mécanisme efficace est proposé pour obtenir de bons modèles en peu de temps. La dernière contribution ouvre une nouvelle voie de recherche sur le WLO avec contraintes de ressources. Les approches actuelles résolvent principalement les problèmes de WLO avec une contrainte de qualité (précision). Dans cette étude, un algorithme basé sur l'optimisation bayésienne a été proposé pour maximiser la qualité des calculs sous contrainte d'un budget de coût du matériel.
Origine : Version validée par le jury (STAR)