Centralised orchestration and hybrid resource management for Ultra Reliable and Low Latency Communications (URLLC)
Orchestration centralisée et gestion des ressources hybrides pour les communications ultra-fiable et à faible latence (URLLC)
Résumé
During the past decades, with the significant proliferation of 5G networks, Ultra Reliable and Low Latency Communications (URLLC) has been becoming indispensable to support time critical applications where data transmission in error-prone wireless medium must be bounded by low delay and ultra-reliableness requirements. However, the phenomenal growth of data traffic coupled with the heterogeneous Quality of Service (QoS), are posing unprecedented challenges. It suggests the paradigm shift from reactive and centralised networks towards proactive, low latency, ultra-reliable and decentralised 5G network designs which allow more flexible, scalable and low complexity deployments of resource management solutions. In this thesis, we focus on the refinement of fundamental trade-offs between latency, reliability and other Key Performance Indicators such as radio resource efficiency and network throughput in guaranteeing URLLC communications by exploiting various diversity levels such as time, frequency, space, signal processing and hardware for improving these key limits. Afterwards, we investigate centralized resource allocation problem where latency, reliability, resource efficiency is studied. Subsequently, we study the additional use of shared radio resources besides scheduled resources between multiple users for the boost of latency-reliability-throughput trade-off in a hybrid architecture where each user and coordinated gNb participate to the intelligent radio resource management. In the first study, we propose centralized orchestrator which yield the tradeoff between latency, reliability and resource efficiency. The objectives are to define when to (de)activate more resources/ mechanisms, to make an efficient tradeoff between reactive and proactive approaches and to exploit multi-modal latency distribution. Afterwards, we propose a jitter-aware orchestration method that forces latency to fall within predetermined windows. Resulted latency/jitter is independent of the wireless environment and now adapted to the control system. Thus, we transform the dependence of communication on the environment into a dependence on control/application. In the second study, we evaluate dynamic resource allocation in system simulation and hardware experimentation. We attempt to explore the parallelisation of Hybrid Automatic Repeat reQuest procedure with a resource scheduling optimization algorithm without sacrificing the efficiency of resource allocation. Relying on Lyapunov’s optimizations for two-queue state system management, we design an optimization framework in which RAN latency, reliability and resource efficiency are considered. Afterwards, we implement an OpenAirInterface (OAI) testbed for the validation of our algorithms. This implementation step is a proof of their feasibility under real time restrictions, and this step illustrates performance of our algorithms in experimentation. Finally, we propose a novel hybrid Grant-Based (GB) and Grant-Free (GF) radio access scheme using Multi Agent Reinforcement Learning (MARL) for URLLC. We provide two different algorithms to optimize a global network objective in terms of latency, reliability and network throughput: Multi-agent Deep-Q Learning (MADQL) and Multi-agent Deterministic Policy Gradient (MADDPG). MADQL is executed so that each user (agent) learns its optimal action-value function, which is based only on its local observation, and performs an optimal opportunistic action using the shared GF spectrum. MADDPG involves the attached gNB function as a global observer (critic), which criticizes the action of each associated agent (actor) in the network. By leveraging centralised training and decentralised execution, we achieve a shared goal better than the first algorithm. Then, through a system level simulation where the full protocol stack is considered, we show the gain of our approach to efficiently manage radio resources and guarantee URLLC.
Durant les dernières décennies, avec la prolifération significative des réseaux 5G, les communications ultra fiables et à faible latence (URLLC) sont devenues indispensables pour prendre en charge les applications critiques où la transmission de données sur un support sans fil sujet aux erreurs doit être limitée par des exigences de faible retard et d'ultra fiabilité. Cependant, la croissance phénoménale du trafic de données, associée à l'hétérogénéité de la qualité de service (QoS), pose des défis sans précédent. Elle suggère le changement de paradigme des réseaux réactifs et centralisés vers des conceptions de réseaux proactifs, à faible latence, ultra-fiables et décentralisés qui permettent des déploiements plus flexibles, évolutifs et peu complexes de solutions de gestion des ressources. Dans cette thèse, nous nous concentrons sur le raffinement des compromis fondamentaux entre la latence, la fiabilité et d'autres indicateurs clés de performance tels que l'efficacité des ressources radio et le débit du réseau pour garantir les communications URLLC en exploitant différents niveaux de diversité tels que le temps, la fréquence, l'espace, le traitement du signal et le matériel pour améliorer ces limites clés. Ensuite, nous examinons le problème de l'allocation centralisée des ressources en étudiant la latence, la fiabilité et l'efficacité des ressources. Ensuite, nous étudions l'utilisation supplémentaire des ressources radio partagées en plus des ressources schedules entre plusieurs utilisateurs pour améliorer le compromis latence-fiabilité-débit dans une architecture hybride où chaque utilisateur et le gNb coordonné participent à la gestion intelligente des ressources radio. Dans la première étude, nous proposons un orchestrateur centralisé qui permet de réaliser le compromis entre latence, fiabilité et efficacité des ressources. Dans la deuxième étude, nous évaluons l'allocation dynamique des ressources dans la simulation du système et l'expérimentation du matériel. En s'appuyant sur les optimisations de Lyapunov pour la gestion des systèmes à deux files d'attente, nous concevons un cadre d'optimisation dans lequel la latence, la fiabilité et l'efficacité des ressources du RAN sont prises en compte. Ensuite, nous mettons en œuvre un banc d'essai OpenAirInterface (OAI) pour la validation de nos algorithmes. Enfin, nous proposons un nouveau schéma d'accès radio hybride basé sur l'octroi (GB) et l'exemption d'octroi (GF) utilisant l'apprentissage par renforcement multi-agent (MARL) pour URLLC. Nous fournissons deux algorithmes différents pour optimiser un objectif global du réseau en termes de latence, de fiabilité et de débit du réseau : MADQL (Multi-agent Deep-Q Learning) et MADDPG (Multi-agent Deterministic Policy Gradient). MADQL est exécuté de manière à ce que chaque utilisateur (agent) apprenne sa fonction action-valeur optimale, qui est basée uniquement sur son observation locale, et effectue une action opportuniste optimale en utilisant le spectre GF partagé. MADDPG implique la fonction gNB attachée en tant qu'observateur (critique) global, qui critique l'action de chaque agent (acteur) associé dans le réseau. En tirant parti de la formation centralisée et de l'exécution décentralisée, nous atteignons un objectif partagé mieux que le premier algorithme. Ensuite, à travers une simulation au niveau du système où la pile de protocoles complète est considérée, nous montrons le gain de notre approche pour gérer efficacement les ressources radio et garantir l'URLLC.
Origine : Version validée par le jury (STAR)