Le traitement de contenus audiovisuels de longue durée demeure une limite majeure des modèles Vision-Langage (VLM), qui rencontrent des difficultés en matière de passage à l’échelle computationnelle, d’ancrage cohérent entre les modalités visuelle et audio, ainsi que de raisonnement complexe sur des contenus étendus. Les progrès dans ce domaine sont également freinés par un défi fondamental : l’absence d’outils et de protocoles permettant d’évaluer et d’améliorer la compréhension conjointe de ces deux modalités par les modèles. Cette thèse s’attaque à ces problématiques à travers une démarche de recherche cohérente, qui débute par l’évaluation robuste de la compréhension multimodale, se poursuit par le développement de méthodes efficaces de résumé multimodal, et aboutit à la création d’un nouveau benchmark dédié au raisonnement narratif de haut niveau.
Ces travaux apportent trois contributions principales pour répondre à ces défis. Premièrement, afin d’établir une méthode fiable pour mesurer la compréhension multimodale, nous introduisons MFactSum, une métrique conçue pour évaluer la cohérence factuelle de résumés multimodaux générés au regard des modalités visuelle et textuelle. S’appuyant sur cette métrique, nous proposons une méthode multimodale permettant de générer des résumés de haute qualité à partir d’une représentation intermédiaire du contenu d’une vidéo longue. Deuxièmement, afin de rendre cette approche multimodale applicable à des vidéos toujours plus longues, nous développons une méthode de sélection de clips qui identifie les segments vidéo les plus saillants, permettant ainsi une compréhension multimodale plus efficace sur le plan computationnel. Enfin, allant au-delà du résumé passif vers une compréhension active, nous introduisons SagaQA, un benchmark dédié au raisonnement multi-étapes, qui exige des modèles qu’ils établissent des liens entre des événements narratifs éloignés au sein d’intrigues complexes et de longue durée dans des séries télévisées.
Ces contributions constituent une base pour de futures recherches sur les systèmes efficaces de résumé et de raisonnement multimodaux. MFactSum, le benchmark SagaQA ainsi que notre méthode de résumé multimodal sont mis à disposition du public afin de favoriser la reproductibilité des travaux et l’innovation dans ce domaine émergent.
|
Processing long-form audio-video content remains a core limitation of current Vision-Language Models (VLMs), which struggle with computational scalability, consistent grounding across video and audio modalities, and performing complex reasoning over extended content. Progress in this domain has been hampered by a foundational challenge: the lack of tools and protocols that can assess and improve a model's comprehension of both modalities. This dissertation addresses these gaps through a cohesive research arc that begins with robust evaluation, builds toward efficient multimodal summarization, and culminates in a new benchmark for high-level narrative reasoning.
This research delivers three key contributions to address these challenges. First, to establish a reliable method for measuring multimodal understanding, we introduce MFactSum, a metric designed to evaluate the factual consistency of generated multimodal summaries against both vision and text modalities. Motivated by this metric, we propose a multimodal pipeline that generates high-quality multimodal summaries from its own intermediate representation of a long video. Second, to make the proposed multimodal solution computationally tractable for ever-longer videos, we developed a clip selection method that identifies the most salient video segments, enabling efficient multimodal understanding. Finally, moving beyond passive summarization to active comprehension, we introduce SagaQA, a benchmark for multi-hop reasoning that requires models to connect distant plot points across complex and long-range TV show narratives.
These contributions provide a foundation for future research on efficient multimodal summarization and reasoning systems. MFactSum, the SagaQA benchmark, and our multimodal summarization pipeline are released publicly to foster reproducibility and innovation in this emerging area. |