Robust junction detector in line-drawing images and time-efficient feature indexing in feature vector space
Détection robuste de jonctions et points d’intérêt dans les images et indexation rapide de caractéristiques dans un espace de grande dimension
Résumé
Local features are of central importance to deal with many different problems in image analysis and understanding including image registration, object detection and recognition, image retrieval, etc. Over the years, many local detectors have been presented to detect such features. Such a local detector usually works well for some particular applications but not all. Taking an application of image retrieval in large database as an example, an efficient method for detecting binary features should be preferred to other real-valued feature detection methods. The reason is easily seen: it is expected to have a reasonable precision of retrieval results but the time response must be as fast as possible. Generally, local features are used in combination with an indexing scheme. This is highly needed for the case where the dataset is composed of billions of data points, each of which is in a high-dimensional feature vector space.
Despite the success of many local detectors in the literature, no robust approach to detect local features in line-drawing images seems to exist. Therefore, the first contribution of this dissertation attempts to bring such an approach. Particularly, a new method for junction detection and characterization in line drawing images is presented. The proposed approach has many favorable features. First, it is robust to the problem of junction distortion. Second, it has the ability of detecting and handling multiple junctions at a given crossing zone. Third, the junctions are detected with a small error of location, highlight-
ing like this method precision. Fourth, the proposed approach is time-efficient supporting different time-critical applications such as symbol spotting/retrieval/recognition. Finally, it is stable to common geometry distortions (e.g., rotation, scaling, and translation) and can resist some typical noise in document images (e.g., produced by scanners, re-sampling or compression algorithms) with a satisfactory level.
Extensive experiments were performed to study the behavior of the proposed approach. Comparative results were also provided where the proposed approach gives much better results than two other state-of-the-art methods. Furthermore, the usefulness of the detected junctions is shown at application level. For this concern, an application to symbol localization is developed. This application shows that the junction features are useful, distinctive, and can be used to support the problem of symbol localization/spotting in a very efficient way.
The second contribution of this thesis is concerned with the problem of feature indexing. Fast proximity search is a crucial need of many recognition/retrieval systems. Although many indexing techniques have been introduced in the literature, their search performance is limited to the application domains where a very high search precision is expected (e.g., > 90%). Besides, the existing methods work less efficiently for the case of exact nearest neighbor search. The limitations of these methods have led us to propose an advanced indexing algorithm. The proposed indexing algorithm works really well for both the tasks of exact/approximate nearest neighbor search. Extensive experiments are carried out to evaluate the proposed algorithm in comparison with many state-of-the-art methods. These experiments clearly show that a significant improvement of search performance is achieved by the proposed indexing algorithm for different types of features.
At last, the source codes of our two contributions are made publicly available for the interest of researchers.
Les caractéristiques locales sont essentielles dans de nombreux domaines de l’analyse d’images comme la détection et la reconnaissance d’objets, la recherche d’images, etc. Ces dernières années, plusieurs détecteurs dits locaux ont été proposés pour extraire de telles caractéristiques. Ces détecteurs locaux fonctionnent généralement bien pour certaines applications, mais pas pour toutes. Prenons, par exemple, une application de recherche dans une large base d’images. Dans ce cas, un détecteur à base de caractéristiques binaires pourrait être préféré à un autre exploitant des valeurs réelles. En effet, la précision des résultats de recherche pourrait être moins bonne tout en restant raisonnable, mais probablement avec un temps de réponse beaucoup plus court. En général, les détecteurs locaux sont utilisés en combinaison avec une méthode d’indexation. En effet, une méthode d’indexation devient nécessaire dans le cas où les ensembles de points traités sont composés de milliards de points, où chaque point est représenté par un vecteur de caractéristiques de grande dimension.
Malgré le succès des nombreuses méthodes proposées dans la littérature pour la mise en place de tels détecteurs, aucune approche robuste de détection au sein des images de trait ne semble exister. Par conséquent, la première contribution de cette thèse est de proposer une telle approche. Plus précisément, une nouvelle méthode de détection de jonctions dans les images de trait est présentée. La méthode proposée possède plusieurs caractéristiques intéressantes. Tout d’abord, cette méthode est robuste au problème de déformation des jonctions. De plus, cette méthode peut détecter plusieurs jonctions dans une même zone, supportant ainsi les cas de détection multiple. Ensuite, les jonctions sont détectées avec peu d’erreurs de localisation, caractérisant ainsi la précision de la méthode. La méthode proposée a également une faible complexité algorithmique, lui permettant ainsi de supporter des applications à fort coût de calcul comme la localisation, la recherche ou la reconnaissance de symboles. Enfin, elle est invariante aux transformations géométriques habituelles (rotation, changement d’échelle et translation) et robuste aux déformations communes rencontrées dans les images de documents (comme le bruit d’impression, la basse résolution et artefacts de compression).
Des expériences approfondies ont été menées pour étudier le comportement de la méthode proposée. Celle-ci a été comparée à deux méthodes référentes de l’état de l’art. Les résultats ont montré que la méthode proposée surclasse significativement les approches de l’état de l’art. De plus, cette méthode s’est avérée utile pour la réalisation d’applications de plus haut-niveau. En effet, une application de localisation de symboles a été développée, démontrant que les jonctions détectées pouvaient être un support essentiel à l’extraction des autres primitives graphiques composant le document, permettant ainsi une localisation et une reconnaissance robustes des symboles.
La seconde contribution de cette thèse traite de l’indexation de caractéristiques. Les méthodes de recherche de plus proches voisins rapides sont devenues un besoin crucial pour de nombreux systèmes de recherche ou de reconnaissance. Bien que de nombreuses techniques d’indexation aient été proposées dans la littérature, leurs performances de recherche restent limitées à certains domaines d’application seulement. De plus, les méthodes existantes, qui sont efficaces dans le cas de la recherche approximative de plus proches voisins, s’avèrent moins efficaces pour ce qui est de la recherche exacte. Les limites de ces méthodes nous ont conduits à proposer un algorithme d’indexation avancé. L’algorithme d’indexation proposé fonctionne aussi bien pour les tâches de recherche approximative que de recherche exacte de plus proches voisins. Des expériences approfondies ont été menées afin de comparer l’algorithme proposé à plusieurs méthodes de l’état de l’art. Ces tests ont montré que l’algorithme proposé améliore significativement les performances de recherche, pour différents types de caractéristiques, par rapport aux méthodes auxquelles notre algorithme a été comparé.
Enfin, les codes source des deux ont été rendus disponibles pour l’intérêt des chercheurs.
Origine : Fichiers produits par l'(les) auteur(s)