Classification using sparse representation and applications to skin lesion diagnosis

Classification basée sur la représentation parcimonieuse et application au diagnostic des lésions cutanées

Long H. Ngo (1)

1 Université Sorbonne Paris Nord

Image classification, a key research in image processing and artificial intelligence, is of fundamental importance for an intelligent system to exploit and manage efficiently the visual information. The objective is to develop algorithms that automatically find the category, to which an image sample belongs, given training samples. In our studies, we focus on the research and applications of sparse representation based algorithms for image classification including but not limited to faces, objects and skin lesions. A key emphasis of this study is to formulate the sparse representation-based classification problems in specific domains, like wavelet and quaternion wavelet, in order to enhance classes separation performance. Further, our goal is to implement the novel method to computer-assisted melanoma diagnosing, performed on dermoscopic images. Melanoma is the most deadly type of skin cancer. Fortunately, skin lesions are curable if they are diagnosed and treated early enough. Due to this reason, the automated computer-assisted melanoma diagnosing has attracted great interest to researchers nowadays. In the first stage of the present study we propose a novel sparse representation based methods, namely Sparse Representation Wavelet based Classification (SRWC), solving the sparse coding problem in the wavelet domain. The SRWC framework shows that features obtained from wavelet transform can contribute to the classification process. In particularly, we fuse the image features described by the complementary information from the low-frequency wavelet coefficients and sparse representation to outperform the conventional sparse representation-based methods according to accuracy. As the wavelets promote sparsity and provide structural information about the image, the proposed method increases the accuracy of classification. Furthermore, our method can naturally handle occlusion and corruption in images. In the second stage of the present study, we extend the SRWC method to the 4D space of quaternions to develop a novel method called Sparse Representation based Classification in the Quaternion Wavelet domain (SRCQW). In particularly, this method exploits the quaternion wavelet transform, which considers the low, high-pass filters and their Hilbert transform calculated counterparts, to generate the quaternionic wavelet coefficients. Analogous to our previous work, we only use the quaternion features described by the coefficients from the low-frequency wavelet sub-bands to map the sparse dictionary and the classification problem onto the 4D quaternion space. To calculate the quaternion sparse vector, we formulate the quaternion wavelet least absolute shrinkage and selection operator (QWLasso) model using quaternion $l_1$ minimization. To solve the QWLasso model, we develop the novel quaternion fast iterative shrinkage-thresholding algorithm (QFISTA) algorithm. The fusion of the quaternion wavelets, which promote sparsity, and the sparse representation model guarantees the convergence of the proposed method to high accuracy solution. In the third stage of the study, we combine SRWC and neural network (NN) to overcome the existing drawbacks of both approaches. More precisely, an effective convolutional autoencoder (CAE) model is proposed with the help of sparse representation in the wavelet domain in order to classify labeled images. For that, we call this method CAE-SRWC. This work is completed under a collaboration with a Master student. In the proposed approach, the CAE involves a sparse latent layer that learns the sparse codes of wavelet features. Then, a residual-based probabilistic criterion is used to assign labels to test samples based on the estimated sparse codes. Moreover, the proposed method explicitly shows a substantial reduction in the number of network parameters comparing to recent NNs. The efficiency of the above theoretical advancements and novelties are experimentally validated by applying them on commonly used datasets, such as face and object, and comparing their results with state-of-the-art methods in the field including NNs. In the last stage of the work, we demonstrate the capabilities of the proposed algorithms including SRWC, SRCQW, and CAE-SRWC for medical image processing with the application to skin lesion image classification. The obtained results show the potential of the newly developed methods, to classify dermoscopic skin lesion images. Moreover, the three proposed approaches show their superiority in recognizing melanoma images with high sensitivity results.

La classification d'images est une discipline majeure en traitement d’images et en intelligence artificielle. La classification est d'une importance fondamentale pour qu'un système intelligent puisse exploiter et gérer efficacement l'information visuelle. L'objectif est de développer des algorithmes qui trouvent automatiquement la catégorie à laquelle appartient un échantillon d'image, à partir d'échantillons d'entraînement. Dans nos études, nous nous concentrons sur l'étude et le développement des algorithmes basés sur la représentation parcimonieuse pour la classification d'images, y compris, mais sans s'y limiter, les visages, les objets et les lésions cutanées. Cette étude met l'accent sur le développement des problèmes de classification basés sur la représentation parcimonieuse dans les domaines spécifiques tels que le domaine des ondelettes ou le domaine des ondelettes quaternioniques dans le but d'améliorer les performances de séparation des classes. En outre, notre objectif est de mettre en œuvre une nouvelle méthode pour le diagnostic du mélanome assisté par ordinateur, réalisé à partir d'images dermoscopiques. Le mélanome est le type de cancer de la peau le plus mortel. Heureusement, les lésions cutanées sont curables si elles sont diagnostiquées et traitées suffisamment tôt. Pour cette raison, le diagnostic automatique du mélanome assisté par ordinateur suscite aujourd'hui un grand intérêt de la part des chercheurs. Dans la première partie de cette étude, nous proposons une nouvelle méthode basée sur la représentation parcimonieuse, à savoir la classification basée sur la représentation parcimonieuse dans le domaine des ondelettes (SRWC), qui résout le problème du codage parcimonieux dans le domaine des ondelettes. Le cadre de la SRWC montre que les caractéristiques obtenues à partir de la transformation en ondelettes peuvent contribuer au processus de classification. En particulier, nous fusionnons les caractéristiques de l'image décrites par les informations complémentaires des coefficients d'ondelettes à basse fréquence et la représentation parcimonieuse pour améliorer les performances de classification et en comparant avec des méthodes conventionnelles de classification par représentation parcimonieuse. Comme les ondelettes favorisent la parcimonie et fournissent des informations structurelles sur l'image, la méthode proposée augmente la précision de la classification. En outre, notre méthode peut naturellement gérer l'occlusion et la corruption des images. Dans la deuxième partie de cette étude, nous étendons la méthode SRWC à l'espace 4D des quaternions pour développer une nouvelle méthode de classification basée sur la représentation parcimonieuse dans le domaine des ondelttes quaternioniques, appelé SRCQW (Sparse Representation based Classification in the Quaternion Wavelet domain). En particulier, cette méthode exploite la transformée en ondelettes quaternioniques, qui utilise les filtres et la transformée de Hilbert, pour générer les coefficients d'ondelettes quaternioniques. Comme pour la méthode précédente, nous n'utilisons que les caractéristiques quaternioniques décrites par les coefficients des sous-bandes de basse fréquence pour mapper le dictionnaire parcimonieux et le problème de classification dans l'espace quaternionique 4D. Pour calculer le vecteur quaternionique parcimonieux, nous formulons le modèle QWLasso (quaternion wavelet least absolute shrinkage and selection operator) en utilisant la minimisation du $l_1$ quaternionique. Pour résoudre le problème QWLasso, nous développons le nouvel algorithme QFISTA (quaternion fast iterative shrinkage-thresholding algorithm). La combinaison des ondelettes quaternionques, qui favorisent la parcimonie, et du modèle de représentation parcimonieuse garantit la convergence de la méthode proposée vers une grande précision de la classification. Dans la troisième partie de l'étude, nous combinons le SRWC et le réseau de neurones (NN) pour pallier aux inconvénients des deux approches. Plus précisément, il s'agit d'une méthode de classification par apprentissage qui se base sur un modèle d’autoencodage convolutif (CAE), et sur une représentation parcimonieuse dans le domaine des ondelettes afin de classer les images étiquetées. Pour cela, nous appelons cette méthode CAE-SRWC. Ce travail est réalisé dans le cadre d'une collaboration avec un étudiant de Master. Dans l'approche proposée, la CAE apprend, avec une couche latente parcimonieuse, les codes parcimonieux des caractéristiques des ondelettes. Ensuite, un critère probabiliste basé sur les résidus est utilisé pour attribuer des étiquettes aux échantillons de test en fonction des codes parcimonieux estimés. En outre, la méthode proposée montre explicitement une réduction substantielle du nombre de paramètres du réseau par rapport aux méthodes récentes de réseaux de neurones. L'efficacité des avancées théoriques et des méthodes proposées est validée expérimentalement en les appliquant à des bases de données couramment utilisées, telles que celles de visages et des objets, et en comparant leurs résultats avec celles des méthodes de pointe dans le domaine, y compris les méthodes de réseaux de neurones. Dans la dernière partie du travail, nous démontrons les capacités des algorithmes proposés, notamment SRWC, SRCQW et CAE-SRWC, pour le traitement des images biomédicales en les appliquant à la classification des images de lésions cutanées. Les résultats obtenus montrent le potentiel des méthodes nouvellement développées, pour classer les images de lésions cutanées dermoscopiques. De plus, les trois approches proposées montrent leur supériorité pour la reconnaissance des images de mélanome avec de bons résultats de sensibilité.

Mots clés: Skin Lesions; Classification; Sparse Representation; Discrete Wavelet Transform; Quaternion Algebra; Quaternion Wavelet Transform

Mots clés: Lésions cutanées; Transformée en ondelettes quaternionique; Classification; Représentation parcimonieuse; Transformée en ondelettes discrète; Algèbre de quaternions

Domaines: Traitement des images [eess.IV]; Imagerie médicale; Imagerie

Long H. Ngo. Classification using sparse representation and applications to skin lesion diagnosis. Image Processing [eess.IV]. Université Sorbonne Paris Nord, 2021. English. ⟨NNT : ⟩. ⟨tel-03324943v1⟩