Unsupervised and hybrid vectorization techniques for 3D reconstruction of engineering drawings
Techniques de vectorisation hybride et non supervisée pour la reconstruction 3D de dessins d'ingénierie
Résumé
Computer-aided design technologies are highly improved during the last decade. This revolution created a gap between old technical drawings (handmade saved as raster images) and the new technical drawings (saved as vector data), which can be modified and saved easily. Moreover, this gap grows up with the rising of virtual and augmented reality applications. Different algorithms can reconstruct 3D models from vector technical drawings. Therefore, a computer-aided design system for converting raster images into vector data is needed more than ever. In this thesis, a preprocessing framework is proposed to prepare data for the vectorization process. The framework extracts graphical information from the engineering drawing template, separates different views using a clustering approach, and denoises each view separately by adopting a deep learning network. Moreover, the framework generates the skeleton of the image, whic his used in the vectorization process. Finally, the framework detects arrow heads where arrowheads can be lately a pattern to detect dimension sets. The genetic algorithm approach is adapted to vectorize technical drawings. This method tune geometric parameters based on the estimated width, which decreases the possibility of fragmenting primitives. The evaluation shows the robustness and effects of hyperparameters on the proposed unsupervised vectorization approach. A hybrid method is proposed to reduce the complexity of the vectorization problem. The supervised stage uses deep learning networks to segment the input image into different layers where each layer contains only one type of primitives (such as straight-line layer and circle layer). The unsupervised stage detects the primitive in each layer separately. The hybrid vectorization approach converts the problem from curve segmentation (in unsupervised vectorization approach) in to primitive detection. Moreover, the hybrid vectorization approach decreases the time complexity due to simultaneously detecting different types of primitives.
Les technologies de conception assistée par ordinateur se sont fortement améliorées au cours de la dernière décennie. Cette révolution a créé un fossé entre les anciens dessins techniques (faits à la main et enregistrés sous forme d'images matricielles) et les nouveaux dessins techniques (enregistrés sous forme de données vectorielles), qui peuvent être modifiés et enregistrés facilement. De plus, ce fossé s’est encore creusé avec l'essor des applications de réalité virtuelle et augmentée. Différents algorithmes permettent de reconstruire des modèles 3D à partir de dessins techniques vectoriels. Par conséquent, un système de conception assistée par ordinateur pour convertir les images matricielles de dessins techniques en données vectorielles est plus que jamais nécessaire. Dans cette thèse, une étape de prétraitement est d’abord proposée afin de préparer les données au processus de vectorisation. Dans cette étape, on extrait les informations graphiques du dessin technique, sépare les différentes vues à l'aide d'une approche de regroupement et débruite chaque vue séparément en adaptant un réseau d'apprentissage profond. En outre,cette étape génère le squelette (au sens de la morphologie mathématique) de l'image, qui est ensuite utilisé dans le processus de vectorisation. Enfin, les pointes de flèches sont détectées, ces flèches pouvant être utilisées pour détecter les dimensions du graphique. L'approche par algorithme génétique est adaptée à la vectorisation des dessins techniques. Cette méthode adapte les paramètres géométriques en fonction de la largeur de ligne et de segment estimée, ce qui diminue la possibilité de fragmenter les primitives. L'évaluation sur des dessins techniques montre la robustesse et les effets des hyperparamètres sur l'approche de vectorisation non supervisée proposée. Une méthode hybride est ensuite proposée afin de réduire la complexité du problème de vectorisation. L'étape supervisée utilise des réseaux d'apprentissage profond pour segmenter l'image d'entrée en différentes couches où chaque couche ne contient qu'un seul type de primitives (comme la couche des lignes droites et la couche des cercles). L'étape non supervisée détecte la primitive dans chaque couche séparément. L'approche de vectorisation hybride convertit le problème de la segmentation des courbes (dans l'approche de vectorisation non supervisée) en détection de primitives. De plus, l'approche de vectorisation hybride diminue la complexité informatique grâce à la détection simultanée de différents types de primitives.
Origine : Version validée par le jury (STAR)