La génération de données réalistes aux motifs complexes repose fréquemment sur l'utilisation de modèles probabilistes expressifs. Ces modèles ont pour objectif de caractériser et d'approcher les distributions de données dans des espaces en grandes dimensions. Cependant, même avec la puissance actuelle des réseaux de neurones profonds, la construction de modèles probabilistes robustes demeure un défi de taille. Alors que l'obtention d'échantillons de qualité est donc une tâche ardue, de nombreuses applications scientifiques exigent de surcroit la capacité à estimer explicitement la densité de probabilité apprise par le modèle. Cette exigence supplémentaire nécessite l'adoption d'architectures de modèles restreintes, contrainte qui devient rapidement très limitante dans un espace complexe et de grande dimension. Cette thèse propose de relever ces défis en adaptant les protocoles d'entraînement ou les stratégies d'échantillonnage des architectures de modèles génératifs. Par ailleurs, elle explore plusieurs applications des modèles génératifs profonds dans le but de résoudre des problèmes pratiques.
Dans une première partie, ce travail propose tout d'abord une stratégie d'entraînement hybride qui établit un compromis entre la génération d'échantillons réalistes et la capacité à estimer la densité de probabilité apprise par le modèle. Cette stratégie consiste à enrichir la fonction d'entraînement usuelle par une distance de transport approchée. Cette distance est également mise à profit dans une deuxième contribution qui vise à résoudre le problème de transport optimal entre distributions empiriques grâce à l'entraînement spécifique de modèles génératifs inversibles. Ensuite, une technique d'échantillonnage explorant l'espace latent est proposée. S'appuyant sur une diffusion de Langevin, elle permet de s'affranchir des limitations observées lors de l'utilisation de modèles génératifs profonds pour générer des données dont la distribution est multimodale et définie sur des espaces déconnectés. Enfin, une dernière partie de ce travail de thèse est consacrée à l'utilisation de ces modèles génératifs profonds pour apprendre des lois a priori. Ces dernières peuvent alors être facilement utilisées dans un cadre d'inversion bayésienne en imagerie computationnelle, assurant un échantillonnage efficace des lois a posteriori sous-jacentes.
Dans leur ensemble, les modèles génératifs profonds offrent une solution souple, puissante et polyvalente pour la génération de données et l'estimation de densité, englobant non seulement le domaine de l'apprentissage automatique, mais trouvant également des applications dans diverses disciplines scientifiques et techniques de l'ingénierie. |
The generation of realistic data with complex patterns often relies on the use of expressive probabilistic models. These models aim to characterize and approximate data distributions in high-dimensional spaces. However, even with the current power of deep neural networks, constructing robust probabilistic models remains a significant challenge. While obtaining high-quality samples is a daunting task, many scientific applications also require the ability to explicitly estimate the probability density learned by the model. This additional requirement necessitates the adoption of constrained model architectures, a constraint that quickly becomes limiting in complex and high-dimensional spaces. This thesis aims to address these challenges by adapting training protocols or sampling strategies for generative model architectures. Additionally, it explores several practical applications of deep generative models.
In the first part, this work initially proposes a hybrid training strategy that strikes a balance between generating realistic samples and the ability to estimate the learned probability density. This strategy involves enriching the standard training objective with an approximate transport distance. This distance is also leveraged in a second contribution that aims to solve the optimal transport problem between empirical distributions through the specific training of invertible generative models. Next, a sampling technique that explores the latent space is introduced. Built upon Langevin diffusion, it allows overcoming limitations observed when using deep generative models to generate data with multimodal distributions defined in disconnected spaces. Finally, a last part of this thesis work is dedicated to using these deep generative models to learn prior laws. These can then be easily used in a Bayesian inversion framework in computational imaging, ensuring efficient sampling of underlying posterior laws.
As a whole, deep generative models offer a flexible, powerful, and versatile solution for data generation and density estimation, encompassing not only the field of machine learning but also finding applications in various scientific disciplines and engineering techniques. |