Cette thèse examine la manière dont la théorie de l'espace de travail global (Global Workspace Theory, GWT) peut inspirer la conception de systèmes d'apprentissage profond multimodaux robustes aux entrées peu fiables, économes en calcul et capables de combiner souplement des sources d'information hétérogènes. Plutôt que de réduire la multimodalité à l'alignement de représentations fixes, nous étudions une architecture d'espace de travail global (GW) dans laquelle des spécialistes préentraînés produisent des représentations latentes. Des encodeurs GW propres à chaque spécialiste projettent ces représentations en encodages de l'espace de travail, leur fusion produit un état partagé, puis des décodeurs GW projettent cet état vers les espaces latents des spécialistes cibles.
Nous étudions d'abord les choix de conception nécessaires à l'entraînement d'un tel système : encodeurs et décodeurs GW propres à chaque spécialiste, état partagé de l'espace de travail, objectifs de traduction et de cycle, et fonction de coût inspirée du principe de diffusion (« broadcast »). Ces composants permettent d'apprendre à partir de jeux de données hétérogènes tout en préservant la modularité entre spécialistes. Nous introduisons ensuite un contrôleur léger qui met en œuvre un contrôle d'accès souple en attribuant un poids d'attention appris à chaque source disponible. Ce contrôleur est entraîné séparément du modèle GW de base et adapte la fusion de l'information à la fiabilité et à la pertinence des entrées.
Des expériences sur des jeux de données multimodaux synthétiques et réels montrent que cette approche améliore la robustesse lorsque certaines sources d'entrée sont corrompues, se généralise à différentes tâches et configurations de sources, et obtient ces gains en adaptant un petit contrôleur plutôt qu'en réentraînant un modèle multimodal complet. Enfin, nous réutilisons de manière récurrente les voies de diffusion apprises et le contrôleur afin de consulter les spécialistes et de affiner l’état de l’espace de travail ; sur quatre directions de traduction, ce processus améliore les performances dans trois cas, sans les dégrader dans le quatrième. L'ensemble des résultats montre qu'une architecture inspirée de la GWT constitue une voie pratique vers des systèmes multimodaux plus robustes, modulaires, efficaces et flexibles. |
This thesis investigates how Global Workspace Theory (GWT) can inform the design of multimodal deep-learning systems that are robust to unreliable inputs, computationally efficient, and able to flexibly combine heterogeneous sources of information. Rather than treating multimodality solely as the alignment of fixed representations, we study a Global Workspace (GW) architecture in which pretrained specialists produce specialist latents. Specialist-specific GW encoders map these latents to workspace encodings, fusion combines them into a shared workspace state, and GW decoders map that state back into target specialist spaces.
We first examine the design choices required to train such a system: specialist-specific GW encoders and decoders, a shared workspace state, translation and cycle objectives, and a broadcast-inspired training loss. These components support learning across heterogeneous datasets while preserving modularity across specialists. We then introduce a lightweight controller that implements soft access control by assigning one learned attention weight to each available source. The controller is trained separately from the underlying base GW model and adapts information fusion to the reliability and relevance of the inputs.
Experiments on synthetic and real-world multimodal benchmarks show that this approach improves robustness when input sources are corrupted, generalizes across tasks and source configurations, and achieves these benefits by adapting a small controller rather than retraining an entire multimodal model. Finally, we reuse the learned broadcast paths and controller recurrently to consult the specialists and refine the workspace state. Across four translation directions, this recurrent process improves performance in three, without degrading the fourth. Together, the results show that a GWT-inspired architecture can offer a practical route toward multimodal systems that are more robust, modular, efficient, and flexible. |