Soutenance de thèse de Cheick Abdoul Kadir A. KOUNTA

Apprentissage profond multimodal  appliqué à l'usinage


Titre anglais : Multimodal deep learning applied in machining
Ecole Doctorale : AA - Aéronautique, Astronautique
Spécialité : Informatique
Etablissement : Institut National Polytechnique de Toulouse
Unité de recherche : EA 1905 - LGP - Laboratoire Génie de Production
Direction de thèse : Bernard KAMSU-FOGUEM- Fana TANGARA


Cette soutenance a eu lieu lundi 28 novembre 2022 à h00
Adresse de la soutenance : Ecole Nationale d‘Ingénieurs, 65000 Tarbes - salle ENIT

devant le jury composé de :
Bernard KAMSU-FOGUEM   Professeure des universités   Ecole Nationale d‘Ingénieurs de Tarbes   Directeur de thèse
Denis POMORSKI   Professeur des universités   Université de Lille   Rapporteur
Luiz Angelo STEFFENEL   Professeure des universités   Université de Reims Champagne-Ardenne   Rapporteur
Sylvie LE HEGARAT-MASCLE   Professeur des universités   Sylvie LE HEGARAT-MASCLE   Examinateur
Laura LAGUNA SALVADO   Assistant professor   École supérieure des technologies industrielles avancées (ESTIA)   Examinateur
Farid NOUREDDINE   Maître de conférences   Ecole Nationale d‘Ingénieurs de Tarbes   Examinateur
Lionel ARNAUD   Maître de conférences   Ecole Nationale d‘Ingénieurs de Tarbes   Examinateur
Fana TANGARA   Professeure des universités   Université des Sciences des Techniques et des Technologies de Bamako (USTTB-MALI)   CoDirecteur de thèse


Résumé de la thèse en français :  

Les techniques axées sur les données ont offert à la technologie de fabrication intelligente des opportunités sans précédent pour assurer la transition vers une productivité basée sur l'industrie 4.0. L'apprentissage automatique et l'apprentissage profond occupent une place cruciale dans le développement de systèmes intelligents pour l'analyse descriptive, diagnostique et prédictive des machines-outils et la surveillance d’état des systèmes de fabrication industrielle. De nombreuses techniques d'apprentissage profond ont été testées sur les problèmes de surveillance d’état des machines-outils, de la détection du broutement, du diagnostic de défauts, de la sélection optimale des paramètres de coupe, etc.
Cette thèse à pour objective de proposer dans un premier temps, une méthode de prédiction du choix des paramètres de coupe en exploitant l’apprentissage profond multimodal. L'apprentissage profond multimodal a été utilisé pour associer un choix de conditions de coupe (outil, vitesse de coupe, profondeur de coupe et vitesse d'avance par dents) avec un état de surface, en considérant la rugosité arithmétique moyenne (Ra) et une photo de la pièce. Nous avons construit un modèle de fusion multimodale tardive avec deux réseaux de neurones profonds, un réseau de neurones convolutif (CNN) pour traiter les données images et un réseau de neurones récurrent avec des couches de mémoire à long terme (LSTM) pour les données numériques. Cette méthode permet d’intégrer les informations provenant de deux modalités (fusion multimodale) afin à terme d'assurer la qualité de surface dans les processus d'usinage. Les difficultés rencontrées lors de l’élaboration de cette méthode nous ont orientés vers une approche unimodale pour détecter le broutement d’usinage.
Une étude bibliométrique est proposée pour à retracer les techniques de détection du broutement, depuis les méthodes de traitement du signal temps-fréquence, la décomposition jusqu'à la combinaison avec des modèles d'apprentissage automatique ou d'apprentissage profond. Une analyse cartographique a été réalisée afin d’identifier les limites de ces différentes techniques et de proposer des axes de recherche pour détecter le broutement dans les processus d'usinage. Les données ont été collectées à partir du web of science (WoS 2022) en exploitant des requêtes particulières sur la détection du broutement. La plupart des documents recueillis présentent la détection du broutement à l'aide de techniques de transformation ou de décomposition. Ce travail a permis de détecter les articles les plus significatifs, les auteurs les plus cités, la collaboration entre auteurs, les pays, continents et revues les plus productifs, le partenariat entre pays, les mots-clés des auteurs et les tendances de la recherche sur la détection du broutement. Partant de là nous présentons une approche basée sur des compétences mécaniques pour d’abord identifier les traitements optimaux des signaux puis l'apprentissage profond (apprentissage par transfert) pour détecter automatiquement le phénomène de broutement en usinage. Ce travail a mis l’accent sur l’utilisation de données collectées dans les conditions industrielles contrairement à la majorité des travaux basés sur les données qui utilisent les données laboratoire. Cette méthode arrive à avoir de bonnes performances malgré le fait qu’elle ne donne aucune indication au réseau de neurones sur l'amplitude du signal, la vitesse de rotation.

 
Résumé de la thèse en anglais:  

Data-driven techniques have provided smart manufacturing technology with unprecedented opportunities to transition to Industry 4.0-based productivity. Machine learning and deep learning occupy a crucial place in the development of intelligent systems for descriptive, diagnostic, and predictive analysis of machine tools and condition monitoring of industrial manufacturing systems. Many deep learning techniques have been tested on the problems of machine tool condition monitoring, chatter detection, fault diagnosis, optimal cutting parameter selection, etc.
The objective of this thesis is to propose a method for predicting the choice of cutting parameters using multimodal deep learning. Multimodal deep learning was used to associate a choice of cutting conditions (tool, cutting speed, depth of cut, and feed rate per tooth) with a surface condition, considering the arithmetic mean roughness (Ra) and a picture of the piece. We built a late multimodal fusion model with two deep neural networks, a convolutional neural network (CNN) to process the image data, and a recurrent neural network with long-term memory layers (LSTM) for the numerical data. This method allows the integration of information from two modalities (multimodal fusion) to eventually ensure surface quality in machining processes. The difficulties encountered during the development of this method led us to a unimodal approach to detecting machining chatter.
A bibliometric study is proposed to trace the techniques of interference detection, from time-frequency signal processing methods, and decomposition to the combination with machine learning or deep learning models. A mapping analysis was performed to identify the limitations of these different techniques and to propose research directions to detect chatter in machining processes. Data were collected from the web of science (WoS 2022) using specific queries on chatter detection. Most of the collected papers present chatter detection using transformation or decomposition techniques. This work detected the most significant papers, the most cited authors, the collaboration between authors, the most productive countries, continents, and journals, the partnership between countries, the authors' keywords, and the research trends on jamming detection. Based on this, we present an approach based on mechanical skills to first identify optimal signal processing and then deep learning (transfer learning) to automatically detect the phenomenon of chatter in machining. This work emphasized the use of data collected under industrial conditions contrary to most data-based works that use laboratory data. This method manages to have good performance even though it does not give any indication to the neural network on the amplitude of the signal, and the speed of rotation.

Mots clés en français :Représentation, Traduction, Alignement, Fusion, Co-apprentissage, Usinage,
Mots clés en anglais :   Representation, Translation, Alignment, Fusion, Co-learning, machining,