Lip segmentation by using an analytical deformable model.
Segmentation des lèvres par un modèle déformable analytique
Résumé
Lip segmentation is an essential stage in many multimedia systems such as videoconferencing, lip reading, or low bit rate coding communication systems. In this paper, we propose an accurate and robust quasi automatic lip segmentation algorithm. First, the upper mouth boundary and several characteristic points are detected in the first frame by using a new kind of active contour : the “jumping snake”. Unlike classic snakes, it can be initialized far from the final edge and the adjustment of its parameters is easy and intuitive. Then, to achieve the segmentation we propose a parametric model composed of several cubic curves. Its high flexibility enables accurate lip contour extraction even in the challenging case of very asymmetric mouth. Compared to existing models, it brings a significant accuracy and realism improvement. The segmentation in the following frames is achieved by using an interframe tracking of the keypoints and the model parameters. However, we show that, with a usual tracking algorithm, the keypoints positions become unreliable after a few frames. We therefore propose an adjustment process that enables an accurate tracking even after hundreds of frames. Finally, we show that the mean keypoints tracking errors of our algorithm are comparable to manual points selection errors.
La segmentation des lèvres est une étape essentielle pour de nombreux systèmes multimedia tels que la vidéoconférence, la lecture labiale ou les systèmes de communication bas débit. Au cours de cette thèse, nous avons développé un algorithme quasi automatique, précis et robuste de segmentation de lèvres dans des séquences vidéo. Dans un premier temps, le contour supérieur de la bouche ainsi que plusieurs points caractéristiques sont détectés dans l'image initiale en utilisant un nouveau type de contour actif nommé “jumping snake”. Contrairement aux snakes classiques, le jumping snake est peu sensible à l'initialisation et la détermination de ses paramètres est simple et intuitive. Pour la segmentation proprement dite, nous introduisons un modèle analytique très flexible composé de quelques courbes cubiques. L'intérêt de ce modèle réside avant tout dans sa grande flexibilité qui permet de rendre compte de manière réaliste d'un très large panel de formes possibles pour la bouche. Dans les images suivantes, la segmentation est réalisée en utilisant un suivi temporel des points caractéristiques et des paramètres du modèle. De plus, nous proposons un algorithme de recalage permettant de compenser efficacement les erreurs de suivi. Finalement, nous montrons que notre algorithme permet de suivre les points caractéristiques avec une précision comparable à celle d'une saisie manuelle.
Loading...