Broadening the scope of gaussian processes for large-scale learning

Élargir la portée des processus gaussiens pour l'apprentissage à grande échelle

Kurt Cutajar (1)

1 Eurecom [Sophia Antipolis]

The renewed importance of decision making under uncertainty calls for a re-evaluation of Bayesian inference techniques targeting this goal in the big data regime. Gaussian processes (GPs) are a fundamental building block of many probabilistic kernel machines; however, the computational and storage complexity of GPs hinders their scaling to large modern datasets. The contributions presented in this thesis are two-fold. We first investigate the effectiveness of exact GP inference on a computational budget by proposing a novel scheme for accelerating regression and classification by way of preconditioning. In the spirit of probabilistic numerics, we also show how the numerical uncertainty introduced by approximate linear algebra should be adequately evaluated and incorporated. Bridging the gap between GPs and deep learning techniques remains a pertinent research goal, and the second broad contribution of this thesis is to establish and reinforce the role of GPs, and their deep counterparts (DGPs), in this setting. Whereas GPs and DGPs were once deemed unfit to compete with alternative state-of-the-art methods, we demonstrate how such models can also be adapted to the large-scale and complex tasks to which machine learning is now being applied.

L'importance renouvelée de la prise de décisions dans un contexte d'incertitude exige une réévaluation de techniques d'inférence bayésiennes appliquées aux grands jeux de données. Les processus gaussiens (GPs) sont une composante fondamentale de nombreux algorithmes probabilistes ; cependant, l'application des GPs est entravée par leur complexité de calcul cubique due aux opérations d'algèbre linéaire impliquées. Nous étudions d'abord l'efficacité de l'inférence exacte des GPs à budget de calcul donné en proposant un nouveau procédé qui applique le préconditionnement aux matrices noyaux. En prenant en considération le domaine du calcul numérique probabiliste, nous montrons également comment l'incertitude numérique introduite par ces techniques d'approximation doit être identifiée et évaluée de manière raisonnable. La deuxième grande contribution de cette thèse est d'établir et de renforcer le rôle des GPs, et leurs extension profondes (DGPs), en vu des exigences et contraintes posées par les grands jeux de données. Alors que les GPs et DGPs étaient autrefois jugés inaptes à rivaliser avec les techniques d'apprentissage profond les plus modernes, les modèles présentés dans cette thèse ont contribué à un changement de perspective sur leur capacités et leur limites.

Mots clés: Gaussian processes; Deep learning; Preconditioning; Bayesian inference; Probabilistic numerics; Probabilistic numerical methods

Mots clés: Processus gaussiens; Apprentissage profond; Préconditionnement; Inférence bayésienne; Calcul numérique probabiliste; Modèles probabilistes

Domaines: Apprentissage [cs.LG]; Machine Learning [stat.ML]

Kurt Cutajar. Broadening the scope of gaussian processes for large-scale learning. Machine Learning [cs.LG]. Sorbonne Université, 2019. English. ⟨NNT : 2019SORUS063⟩. ⟨tel-02968227⟩