ℓ₀ based sparse representation

Représentation parcimonieuse basée sur la norme ℓ₀

Yuan Liu (1)

1 LITIS - Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes

In this monograph, we study the exact ℓ₀ based sparse representation problem. For the classical dictionary learning problem, the solution is obtained by iteratively processing two steps: sparse coding and dictionary updating. However, even the problem associated with sparse coding is non-convex and NP-hard. The method for solving this is to reformulate the problem as mixed integer quadratic programming (MIQP). Then by introducing two optimization techniques, initialization by proximal method and relaxation with augmented contraints, the algorithmis greatly speed up (which is thus called AcMIQP) and applied in image denoising, which shows the good performance. Moreover, the classical problem is extended to learn an incoherent dictionary. For dealing with this problem, AcMIQP or proximal method is used for sparse coding. As for dictionary updating, augmented Lagrangian method (ADMM) and extended proximal alternating linearized minimizing method are combined. This exact ℓ₀ based incoherent dictionary learning is applied in image recovery, which illustrates the improved performance with a lower coherence.

Cette monographie traite du problème d’apprentissage de dictionnaire parcimonieux associé à la pseudo-norme ℓ₀. Ce problème est classiquement traité par une procédure de relaxation alternée itérative en deux phases : un codage parcimonieux (sparse coding) et une réactualisation du dictionnaire. Cependant, le problème d’optimisation associé à ce codage parcimonieux s’avère être non convexe et NP-difficile, ce qui a justifié la recherche de relaxations et d’algorithmes gloutons pour obtenir une bonne approximation de la solution globale du problème. A l’inverse, nous reformulons le problème comme un programme quadratique mixte en nombres entiers (MIQP) permettant d’obtenir l’optimum global du problème. La principale difficulté de cette approche étant le temps de calcul, nous proposons deux méthodes (la relaxation par l’ajout de contraintes complémentaires et l’initialisation par la méthode du gradient proximal) permettant de le réduire. Cet algorithme est baptisé MIQP accéléré (AcMIQP). L’application de AcMIQP à un problème de débruitage d’images démontre sa faisabilité et ses bonnes performances. Nous proposons ensuite d’améliorer cet algorithme en y intégrant des contraintes visant à promouvoir l’indépendance des atomes du dictionnaire sélectionné. Pour traiter ce problème à l’aide de AcMIQP, la phase de réactualisation du dictionnaire sous contraintes est adaptée en combinant la méthode du lagrangien augmenté (ADMM) et la méthode Extended Proximal Alternating Linearized Minimization (EPALM). L’efficacité de cette approche AcMIQP+EPALM est démontrée sur un problème de reconstruction d’image.

Mots clés: Sparse representation; Sparse coding; Dictionary learning; MIQP; Incoherent dictionary learning; Augmented Lagrangian method; PALM

Mots clés: Apprentissage de dictionnaire; Codage parcimonieux; Apprentissage de dictionnaire à faible cohérence; Lagrangien augmenté; PALM

Domaines: Apprentissage [cs.LG]

Yuan Liu. ℓ₀ based sparse representation. Machine Learning [cs.LG]. Normandie Université, 2019. English. ⟨NNT : 2019NORMIR22⟩. ⟨tel-02925022⟩