Distributed Learning for 5G and Beyond Network Management and Orchestration
Apprentissage distribué pour la gestion et l'orchestration des réseaux 5G et au-delà
Résumé
Wireless communications are experiencing an unprecedented demand for communication bandwidth. It is not only the volume of data traffic exploding, but also the characteristics and nature of communicating objects are diversifying. In addition, new applications and use cases are emerging, each one with stringent requirements, making the management of radio, computing, and storage resources complex, requiring advanced, flexible, scalable, and low complexity solutions.This thesis focuses on “distributed learning” approaches for effective and efficient radio resource management in the context of 5G networks and beyond. Distributed solutions have the advantage of being flexible, scalable, and robust to environmental artifacts. Furthermore, they reduce signaling overhead and strongly limit cumbersome centralized computations. However, distributed learning faces several challenges, especially in dense 5G networks deployments, due to an uncertain wireless environment and limited radio and computing resources. Motivated by these challenges, we propose new distributed learning frameworks based on multi-agent reinforcement learning, which consider environment dynamics, including radio channel variations, intra- and inter-cell interference, users' traffic, and mobility for dynamic radio resource management. Specifically, our approach models user devices as independent agents, collaborating with (or competing against) each other for radio and/or computing resources to optimize network utility functions. To do so, the agents rely on their local observations (and global observations if available) to make autonomous decisions, thereby significantly reducing signaling and computational overhead.Following this approach, we propose a fully distributed and decentralized user association framework for the optimal assignment of user equipments to base stations. Then, we extend this study to propose a new architecture, which conveniently combines neural attention mechanisms and multi-agent reinforcement learning to build fully transferable user association policies with “zero generalization capability”. In other words, with the proposed new framework, the knowledge acquired in one specific scenario is transferable to another without requiring any additional training procedure. We show that the proposed mechanism adapts well and by design to variations in the number and positions of users. These conclusive results allow us to address the problem of energy-efficient dynamic computation offloading, where multiple users compete for radio and computing resources to offload data generated dynamically at the user’s devices to an edge server. We formulate this problem as a long-term energy minimization problem with end-to-end delay constraints to meet user quality of service. Using Lyapunov stochastic optimization tools, we decouple this problem into a “per slot” frequency allocation problem and a radio resource allocation problem, which we jointly solve with a proposed fast iterative algorithm and the proposed transferable user association solution. The resulting framework exhibits near-optimal performance, improving the network’s energy efficiency while significantly reducing its complexity. Finally, to further enhance the system’s performance, in the last part of this thesis, we explore the opportunity offered by semantic communications. In this paradigm, whenever communication occurs to convey meaning between two agents, what matters is the receiver’s understanding of the transmitted message and not necessarily their correct reconstruction. Transmitting only relevant information sufficient for agents to capture the meaning intended can save significant communication bandwidth. Therefore, we propose a new architecture that enables “representation learning” of semantic symbols. Our preliminary numerical results are promising, making semantic communications a good candidate to improve the efficiency and sustainability of future 6G networks.
Les communications sans fil connaissent une demande sans précédent de débit et de bande passante. Non seulement le volume du trafic de données explose, mais les spécificités et la nature des objets communicants se diversifient. De plus, l’apparition de nouvelles applications et de nouveaux cas d'utilisation, chacun avec des exigences strictes, complexifie la gestion des ressources radio, de calcul, et de stockage, qui nécessite désormais des solutions avancées, flexibles, évolutives et peu complexes.Cette thèse se focalise sur les approches d'apprentissage distribué pour une gestion efficace et efficiente des ressources radio des réseaux mobiles 5G et au-delà. Les solutions distribuées ont l’avantage d’être flexibles, évolutives et robustes face aux perturbations ambiantes. En outre, elles réduisent la surcharge de signalisation et limitent des calculs centralisés laborieux. Cependant, l'apprentissage distribué fait face à plusieurs défis, notamment dans les réseaux 5G denses, en raison d'un environnement sans fil incertain et des ressources radio et de calcul limitées. Motivés par ces défis, nous proposons de nouveaux cadres d'apprentissage distribué basés sur l'apprentissage par renforcement multi-agent, tenant compte de la dynamique de l'environnement (variations des canaux sans fil, interférences intra et intercellulaires, trafic et mobilité des utilisateurs) pour une gestion dynamique des ressources radio. Plus précisément, notre approche modélise les équipements utilisateur comme des agents indépendants, qui collaborent (ou rivalisent) pour accéder à des ressources radio et/ou computationnelles afin d'optimiser des fonctions d'utilité du réseau. Pour cela, les agents s'appuient sur leurs observations locales (et sur d’éventuelles observations globales) pour prendre des décisions autonomes, réduisant ainsi considérablement les coûts de signalisation et de calcul.Ce faisant, un cadre d'association d'utilisateurs entièrement distribué et décentralisé est d’abord proposé pour l'affectation optimale des équipements utilisateurs aux stations de base, et pour gérer la mobilité. Nous étendons ensuite cette étude pour proposer une nouvelle architecture combinant judicieusement des mécanismes d'attention neuronale et d'apprentissage par renforcement multi-agent. Les solutions obtenues sont entièrement transférables et généralisables : les connaissances acquises dans un scénario spécifique sont applicables à d’autres sans nécessiter de procédure d’apprentissage supplémentaire. Nous montrons que cette solution s'adapte bien aux variations du nombre et des positions des utilisateurs. Cela nous permet ensuite d'aborder le problème du déchargement dynamique des calculs à faible coût énergétique, où plusieurs utilisateurs se disputent des ressources radio et computationnelles pour décharger des tâches sur un serveur périphérique. Il s’agit d’un problème de minimisation d'énergie à long terme sous des contraintes strictes de délai. Avec des outils d'optimisation stochastique de Lyapunov, nous traduisons ce problème en un problème d'allocation conjointe de fréquence et de ressources radio par slot, que nous résolvons de manière quasi-optimale avec un algorithme itératif rapide combiné à notre solution d’association d’utilisateurs transférable. Enfin, la dernière partie de cette thèse explore les communications sémantiques. Dans ce paradigme, lorsqu'une communication a lieu pour véhiculer un sens entre deux agents, ce qui importe est la compréhension par le récepteur du message transmis et non sa reconstruction correcte. Transmettre uniquement les informations pertinentes suffisantes pour que les agents saisissent le sens voulu permet d’énormes économies de bande passante. Nous proposons donc une méthode permettant l'apprentissage de la représentation des symboles sémantiques. Nos résultats numériques préliminaires sont prometteurs et montrent le potentiel des communications sémantiques pour des futurs réseaux 6G efficaces et durables.
Origine : Version validée par le jury (STAR)