Lips contours segmentation based on « Region-contour » algorithm.

Segmentation région-contour des contours des lèvres

Christian Bouvier (1)

1 GIPSA-lab - Grenoble Images Parole Signal Automatique

This report presents the thesis that has been jointly conducted at the Grenoble Institute of Technology in France and at the Laval University in Canada. The work involves the GIPSA-lab in Grenoble and the CVSL of the Laval University. The aim of the thesis is to propose a set of robust methods to segment the lips outer and inner contours. In terms of robustness, we intend to propose a reliable lips contours segmentation that does not require the tuning of parameters. In the fist chapter a state of the art of mouth analysis is given. In the second chapter of this report, we will introduce our “region-contour” based approach to segment a binary mask of the lips on static face color images. First, we will describe the decorrelation-stretch algorithm we use to enhance the contrast between lips pixels and skin pixels and then a multi-scale gradients approach to contour modeling. The last part of the chapter will focus on the segmentation of a lips binary mask by automatic thresholding of a specific chromatic component. In chapter three we will be interested in the mouth state identification problem. The knowledge of mouth state is critical if one is to propose a robust segmentation of the lips internal contours. A bio-inspired approach based on retina and visual cortex models has been developed to compute a scale invariant mouth description: the log-polar spectrum. Log-polar spectrums, computed on a manually classified mouth images database, are used to train a SVM network. The goal of the network is to classify unknown mouth images in 2 clusters: open mouth and closed mouth. Recently, infrared based approaches have become popular in face analysis, especially for face recognition problems. Infrared thermography is an area of extensive expertise at the CVSL. In order to enhance the robustness of the lips contours segmentation, we studied the potential of the information given by infrared face images. A combined visible/infrared face image database has been constructed for that purpose. Chapter 4 describes the construction of the combined visible/infrared database and the statistical study of the skin/lips contrast on infrared face images. The last chapter deals with the outer and inner lips contours segmentation. The mouth outer contour is processed first. Using the lips binary mask given by the algorithm described in chapter 2, we have developed an adaptive contour model for the external mouth contour. The contour will be described by a polynomial curve. The complexity of the curve will be adapted using color and multi-scale gradients information. For the inner lips contour, we proposed an unsupervised classification method to segment the inner areas of the mouth. This gives us a binary mask of the inner areas of the mouth. Finally, given the mask of the inner areas of the mouth, the contour is extracted by using the same method that has been applied on the outer contour. The last section of chapter 5 will deal with the performance evaluation of our segmentation algorithms. An original approach for contour comparison, based on Fourier descriptors, has been developed for that purpose.

La thèse présentée a été effectuée en cotutelle entre l'Institut Polytechnique de Grenoble et l'université Laval à Québec. Les travaux ont impliqué les laboratoires universitaire GIPSAlab à Grenoble et le Laboratoire de Vision et Systèmes Numériques de l'Université Laval (LVSN). Notre étude porte sur la segmentation des contours internes et externes des lèvres. L'objectif visé dans notre étude est de proposer un ensemble de méthodes permettant de modéliser précisément la zone de la bouche avec la meilleure robustesse possible. Par robustesse, notre entendons obtenir une méthode fiable qui ne nécessite pas de réglage de paramètres et qui permette une segmentation fidèle des contours externes et internes de la bouche. Dans un premier temps, une approche combinée région-contour est introduite dans le but d'obtenir une segmentation multi-locuteur de la bouche sur des images de visage en couleurs. Nous décrivons une approche par décorrélation permettant d'augmenter le contraste entre la peau et les lèvres sur des images en couleurs ainsi qu'une étude sur les gradients multi-échelles pour améliorer la robustesse de la modélisation des contours de la bouche. Ensuite nous présentons notre méthode de localisation et de segmentation régioncontour de la bouche sur des images de visage en couleurs. Dans un second temps nous nous sommes intéressés à la détection de l'état de la bouche. L'étape de détection de l'état de la bouche est nécessaire à la modélisation de la région interne qui présente une grande variabilité de forme et de texture. Une approche bioinspirée, basée sur un modèle de rétine et de cortex visuel conduisant au calcul d'un spectre Log-polaire, a été développée pour modéliser la zone de la bouche. Ces spectres sont, ensuite, utilisés pour entraîner un réseau SVM destiné à identifier l'état de la bouche. D'autre part, de nombreux auteurs ont suggéré d'utiliser la modalité infrarouge en analyse faciale. Le LVSN possédant une solide expertise dans le domaine de la vision infrarouge, une étude sur la pertinence de la modalité infrarouge dans le cadre de la segmentation des lèvres est proposée. Après avoir localisé la bouche et identifié l'état de la bouche, nous nous intéressons alors à la segmentation des contours externes et internes de la bouche. Un modèle polynomial de contour externe, dont la complexité sera automatiquement adaptée en fonction de la bouche traitée, est présenté. L'aspect de la zone interne de la bouche pouvant varier très rapidement, l'extraction du contour interne est particulièrement difficile. Nous proposons de traiter ce problème par une méthode de classification non-supervisée pour sélectionner les régions internes de la bouche. La méthode de modélisation de contour par un modèle polynomial est par la suite appliquée pour extraire le contour interne de la bouche. Enfin, une analyse quantitative de la performance globale de l'extraction des contours internes et externes est réalisée par comparaison avec des vérités-terrain.

Mots clés: lèvres; bouche.; bouche; Traitement d'images; vision numérique; Segmentation; analyse faciale

Domaines: Interface homme-machine [cs.HC]

Christian Bouvier. Segmentation région-contour des contours des lèvres. Interface homme-machine [cs.HC]. Institut National Polytechnique de Grenoble - INPG, 2010. Français. ⟨NNT : ⟩. ⟨tel-00462022⟩