Multimodal deep learning applied to machining
Apprentissage profond multimodal appliqué à l'usinage
Résumé
Data-driven techniques have provided smart manufacturing technology with unprecedented opportunities to transition to Industry 4.0-based productivity. Machine learning and deep learning are crucial in developing intelligent systems for descriptive, diagnostic, and predictive analysis of machine tools and condition monitoring of industrial manufacturing systems. Many deep learning techniques have been tested on the problems of machine tool condition monitoring, chatter detection, fault diagnosis, optimal cutting parameter selection, etc.A bibliometric study is proposed to trace interference detection techniques, from time-frequency signal processing methods and decomposition to the combination with machine learning or deep learning models. A mapping analysis was performed in order to identify the limitations of these different techniques and to propose research directions to detect chatter in machining processes. Data were collected from the web of science (WoS 2022) by mining specific queries on chatter detection. Most of the collected papers present chatter detection using transformation or decomposition techniques. This work detected the most significant papers, most cited authors, collaboration between authors, most productive countries, continents, and journals, partnerships between countries, authors' keywords, and research trends on chatter detection.This thesis aims to propose a method for predicting the choice of cutting parameters by exploiting deep multimodal learning. Multimodal deep learning has been used to associate a choice of cutting conditions (tool, cutting speed, depth of cut, and feed rate per tooth) with a surface condition, considering the arithmetic mean roughness (Ra) and a photo of the part. We built a late multimodal fusion model with two deep neural networks, a convolutional neural network (CNN) to process the image data, and a recurrent neural network with long-term memory layers (LSTM) for the numerical data. This method allows the integration of information from two modalities (multimodal fusion) to eventually ensure surface quality in machining processes. The difficulties encountered during the development of this method led us to a unimodal approach to detect machining chatter.Subsequently, we present an approach based on mechanical skills first to identify optimal signal processing and then deep learning (transfer learning) to detect the chatter phenomenon in machining automatically. This work emphasized using data collected under industrial conditions, contrary to most data-based works that use laboratory data. This method manages to have good performances despite the fact that it does not give any indication to the neural network on the amplitude of the signal, and the speed of rotation
Les techniques axées sur les données ont offert à la technologie de fabrication intelligente des opportunités sans précédent pour assurer la transition vers une productivité basée sur l'industrie 4.0. L'apprentissage automatique et l'apprentissage profond occupent une place cruciale dans le développement de systèmes intelligents pour l'analyse descriptive, diagnostique et prédictive des machines-outils et la surveillance d’état des systèmes de fabrication industrielle. De nombreuses techniques d'apprentissage profond ont été testées sur les problèmes de surveillance d’état des machines-outils, de la détection du broutement, du diagnostic de défauts, de la sélection optimale des paramètres de coupe, etc.Une étude bibliométrique est proposée pour à retracer les techniques de détection du broutement, depuis les méthodes de traitement du signal temps-fréquence, la décomposition jusqu'à la combinaison avec des modèles d'apprentissage automatique ou d'apprentissage profond. Une analyse cartographique a été réalisée afin d’identifier les limites de ces différentes techniques et de proposer des axes de recherche pour détecter le broutement dans les processus d'usinage. Les données ont été collectées à partir du web of science (WoS 2022) en exploitant des requêtes particulières sur la détection du broutement. La plupart des documents recueillis présentent la détection du broutement à l'aide de techniques de transformation ou de décomposition. Ce travail a permis de détecter les articles les plus significatifs, les auteurs les plus cités, la collaboration entre auteurs, les pays, continents et revues les plus productifs, le partenariat entre pays, les mots-clés des auteurs et les tendances de la recherche sur la détection du broutement.Cette thèse à pour objective de proposer dans un premier temps, une méthode de prédiction du choix des paramètres de coupe en exploitant l’apprentissage profond multimodal. L'apprentissage profond multimodal a été utilisé pour associer un choix de conditions de coupe (outil, vitesse de coupe, profondeur de coupe et vitesse d'avance par dents) avec un état de surface, en considérant la rugosité arithmétique moyenne (Ra) et une photo de la pièce. Nous avons construit un modèle de fusion multimodale tardive avec deux réseaux de neurones profonds, un réseau de neurones convolutif (CNN) pour traiter les données images et un réseau de neurones récurrent avec des couches de mémoire à long terme (LSTM) pour les données numériques. Cette méthode permet d’intégrer les informations provenant de deux modalités (fusion multimodale) afin à terme d'assurer la qualité de surface dans les processus d'usinage. Les difficultés rencontrées lors de l’élaboration de cette méthode nous ont orientés vers une approche unimodale pour détecter le broutement d’usinage. Par la suite nous présentons une approche basée sur des compétences mécaniques pour d’abord identifier les traitements optimaux des signaux puis l'apprentissage profond (apprentissage par transfert) pour détecter automatiquement le phénomène de broutement en usinage. Ce travail a mis l’accent sur l’utilisation de données collectées dans les conditions industrielles contrairement à la majorité des travaux basés sur les données qui utilisent les données laboratoire. Cette méthode arrive à avoir de bonnes performances malgré le fait qu’elle ne donne aucune indication au réseau de neurones sur l'amplitude du signal, la vitesse de rotation.
Origine : Version validée par le jury (STAR)