Cette thèse, intitulée « Making Transmission Electron Microscopy More Accessible with Machine Learning and Human-Computer Interaction » (Rendre la microscopie électronique à transmission plus accessible grâce à l'apprentissage automatique et à l'interaction homme-machine), étudie les défis associés à la microscopie électronique à transmission (MET), un instrument essentiel dans le domaine des nanosciences.
La MET offre une haute résolution pour l'examen des structures atomiques et nanométriques ; cependant, elle est entravée par des exigences opérationnelles complexes, telles que les alignements manuels quotidiens, la formation des utilisateurs et la difficulté d'associer les ajustements de la configuration du microscope et les changements espérés sur l'image résultante.
Ces problèmes limitent son accessibilité et son efficacité opérationnelle.
La présente étude se concentre sur deux contributions principales : l'automatisation d'une partie du processus d'alignement du microscope électronique à transmission grâce à l'intelligence artificielle (IA) et l'amélioration de l'interaction et de la compréhension de l'utilisateur grâce à des outils d'interaction homme-machine (IHM).
Le processus d'alignement du microscope électronique à transmission (MET) est complexe et nécessite des ajustements précis de divers paramètres, notamment la position de l'ouverture, la focalisation du faisceau, les astigmatismes et les points pivots.
L'automatisation de ces tâches peut réduire considérablement le temps nécessaire et la compétence requise pour le fonctionnement du MET.
Cette thèse utilise des réseaux neuronaux convolutionnels (CNN) pour prévoir les configurations d'alignement optimales à partir d'images d'entrée.
Compte tenu de leur capacité à extraire des caractéristiques hiérarchiques, les CNN sont bien adaptés à l'analyse des modèles d'images complexes générés par le TEM et à l'extraction des corrections nécessaires.
La thèse reconnaît également que l'automatisation ne peut à elle seule répondre à l'ensemble des défis posés par le fonctionnement du MET.
De nombreux utilisateurs, en particulier les novices mais aussi parfois les experts, ont du mal à comprendre les implications de leurs ajustements en raison du manque de retour d'information sur l'instrument, en particulier en raison de l'inaccessibilité des informations sur la forme du faisceau d'électrons.
Pour combler cette lacune, la thèse intègre les principes de l'IHM, y compris la visualisation et la conception participative couplées à la simulation TEM, dans les interfaces TEM qui atténuent le manque d'informations auquel sont confrontés les microscopistes.
Les principaux développements comprennent une simulation de traçage de rayons de la MET (SimuTEM) et un flux de travail d'IA pour automatiser les processus d'alignement de la MET.
Il présente également une interface de bureau en 2D (Twin4TEM-2D) qui combine un retour de simulation en direct avec des commandes intuitives.
Enfin, une interface immersive en 3D (Twin4TEM-3D), conçue pour les plateformes de réalité virtuelle et augmentée, permet aux utilisateurs de visualiser et de manipuler les trajectoires et les configurations des faisceaux d'électrons.
Les deux interfaces visent à aligner les modèles mentaux des utilisateurs sur le modèle conceptuel du MET, améliorant ainsi leur capacité à interpréter et à optimiser les réglages de l'instrument.
La recherche souligne le potentiel de transformation de l'utilisation de l'intelligence artificielle (IA) et de l'IHM dans l'instrumentation scientifique.
En automatisant l'alignement et en fournissant des mécanismes de retour d'information améliorés, la thèse rend TEM plus accessible à un public plus large.
Cette approche interdisciplinaire ne fait pas seulement progresser la facilité d'utilisation de TEM, mais crée également un précédent pour relever des défis similaires dans d'autres outils scientifiques complexes. |
This thesis, entitled "Making Transmission Electron Microscopy More Accessible with Machine Learning and Human-Computer Interaction", investigates the challenges associated with Transmission Electron Microscopy (TEM), an essential instrument in the field of nanoscience.
TEM provides high resolution for the examination of atomic and nanoscale structures; however, it is hindered by intricate operational demands, such as daily manual alignments, comprehensive user training, and challenges in correlating adjustments in the microscope's configuration with alterations in the resultant imagery.
These issues restrict its accessibility and operational efficiency.
The present study focuses on two principal contributions: automating a part of the TEM alignment process through artificial intelligence (AI) and the enhancement of user interaction and comprehension through sophisticated Human-Computer Interaction (HCI) tools such as desktop and immersive interfaces.
The alignment process of the Transmission Electron Microscope (TEM) is complex, necessitating precise adjustments of various parameters, including aperture position, beam focus, astigmatisms, and pivot points.
Automation of these tasks can substantially decrease the required time and proficiency required for TEM operation.
This thesis utilizes convolutional neural networks (CNNs) to forecast optimal alignment configurations from input images.
Given their ability to extract hierarchical features, CNNs are well suited to analyze intricate image patterns generated by TEM and extract the necessary correction.
This automation process relies on multiple steps.
The first is data collection.
A pipeline was developed to capture TEM images alongside configuration metadata for training AI models.
The second one was the development of a ray-tracing simulation, MiniTEM.
It was created to generate realistic data for training and testing.
This approach allowed controlled experimentation and reduced dependence on physical TEM access.
The thesis also recognizes that automation alone cannot address the full spectrum of challenges in TEM operation.
Many users, especially novices but even sometimes experts, struggle to understand the implications of their adjustments due to limited feedback on the instrument's, especially due to the inaccessibility of information about the electron beam shape.
To bridge this gap, the thesis integrates the principles of HCI, including visualization and participatory design coupled with TEM simulation, into TEM interfaces that mitigate the lack of information faced by microscopists.
Key developments include a ray-tracing simulation of the TEM (SimuTEM) and an AI workflow to automate TEM alignment processes.
It also presents a 2D desktop interface (Twin4TEM-2D) that combines live simulation feedback with intuitive controls to help users understand the relationship between TEM configurations and the resulting images.
And finally a 3D immersive interface (Twin4TEM-3D) designed for virtual and augmented reality platforms, this interface offers an immersive experience, enabling users to visualize and manipulate electron beam paths and configurations in a virtual space.
Both interfaces aim to align users' mental models with the TEM's conceptual model, improving their ability to interpret and optimize instrument settings.
The research underscores the transformative potential of the use of artificial intelligence (AI) and HCI in scientific instrumentation.
By automating alignment and providing improved feedback mechanisms, the thesis makes TEM more accessible to a broader audience, including those with limited expertise.
Future work could focus on refining AI models for better prediction, integrating AI training into HCI tools, and exploring other applications in microscopy.
This interdisciplinary approach not only advances TEM usability but also sets a precedent for addressing similar challenges in other complex scientific tools. |