Online learning at the edge
Apprentissage en ligne pour le edge computing
Résumé
Due to the proliferation of IoT devices, the volume of data produced is becoming challenging to transfer, store, and process in remote centralized architectures. Hence, machine learning at the edge has recently attracted considerable interest. The goal is to process the data as close to its source. We typically have multiple agents collaborating via peer-to-peer communication to optimize an aggregate of loss functions with components spread over a connected network.Many decentralized optimization algorithms, both projection and projection-free algorithms with theoretical guarantees have been proposed in the literature, focusing mainly on offline settings.However, for most real-world machine learning problems, the data is often revealed online, for example, in the case of recommender systems. Therefore, we study decentralized optimization within online settings.We propose online decentralized Frank-Wolfe algorithms that use stochastic gradient estimates, which achieve an asymptotically tight regret guarantee of O(√T) where T is a given time horizon. The algorithms differ in their communication protocol, one has synchronized communication and the second has a random walk approach. Furthermore, we compare these algorithms’ performance for optimizing the online multiclass logistic regression model on real-world standard image datasets (MNIST,CIFAR10) with centralized online algorithms and the previously best-known decentralized online algorithms. We show proof of concept by deploying the above experiment on a cluster of devices with limited resources, namely Raspberry Pi. Finally, by optimizing a long short-term memory neural network model, we discuss their usefulness in typical edge applications: temperature forecasting in smart buildings.
En raison de la prolifération des dispositifs IoT, le volume de données produites devient difficile à transférer, à stocker et à traiter dans des architectures centralisées à distance. Par conséquent, l'apprentissage automatique dans le Edge a récemment suscité un intérêt considérable. L'objectif est de traiter les données au plus près de leur source. En général, plusieurs agents collaborent via une communication de pair à pair pour optimiser un agrégat de fonctions de perte dont les composants sont répartis sur un réseau connecté.De nombreux algorithmes d'optimisation décentralisés, à la fois des algorithmes avec et sans projection avec des garanties théoriques, ont été proposés dans la littérature, en se concentrant principalement sur des approche offline.Cependant, pour la plupart des problèmes d'apprentissage automatique du monde réel, les données sont souvent révélées de manière online, par exemple, dans le cas des systèmes de recommandation. Par conséquent, nous étudions l'optimisation décentralisée dans des contextes online.Nous proposons des algorithmes de Frank-Wolfe décentralisés en ligne qui utilisent des estimations de gradient stochastiques et qui garantissent un regret asymptotiquement de O(√T), où T est un horizon temporel donné.
Origine : Version validée par le jury (STAR)