La capture de vidéos égocentriques devient de plus en plus accessible grâce aux caméras portables, aux dispositifs de lifelogging, aux téléphones mobiles et aux capteurs portés sur la tête. Ces enregistrements peuvent soutenir le lifelogging et l’augmentation de la mémoire en préservant des traces de l’expérience quotidienne du point de vue de la personne qui les a vécues. Cependant, la facilité croissante de la capture crée un problème de recherche : les archives vidéo personnelles deviennent longues, bruitées, faiblement structurées et difficiles à interroger. Dans ces archives, les moments pertinents sont rarement isolés ou explicitement annotés, et les utilisateurs recherchent souvent à partir d’indices mémoriels incomplets plutôt qu’à partir de descriptions précises.
Cette thèse étudie des mécanismes interactifs de recherche dans les vidéos égocentriques lorsque l’intention de recherche de l’utilisateur est vague, partielle ou multimodale. Premièrement, elle caractérise les requêtes vagues dans la recherche de moments en vidéo égocentrique en distinguant l’ambiguïté sémantique, l’incomplétude, la largeur et le flou temporel, et en reliant ces formes de flou à des mécanismes cognitifs impliqués dans le rappel mnésique et la verbalisation. Deuxièmement, elle présente un cadre interactif de recherche qui place l’interaction utilisateur autour de modèles existants de mise en correspondance zéro-shot entre vision et langage, permettant aux utilisateurs d’inspecter et de raffiner des moments candidats à travers des requêtes textuelles, des requêtes par image, un seuillage des scores, une navigation temporelle et une visualisation sémantique. Une étude pilote comparant ce cadre à une navigation vidéo standard montre des temps de complétion et une précision comparables, un rappel plus faible, ainsi qu’une appréciation plus élevée de la recherche textuelle, du seuillage et de la navigation sémantique. Les résultats suggèrent que la recherche à partir de requêtes vagues n’est pas un simple processus requête-réponse, mais une interaction itérative dans laquelle les utilisateurs combinent recherche sémantique, navigation, filtrage et vérification manuelle.
Puis, La thèse étend ce travail vers la recherche audiovisuelle. Puisque les événements remémorés peuvent être associés à des sons, paroles, bruits de fond, musique ou d’autres signaux auditifs, un prototype sensible à l’audio est conçu afin de prendre en charge des exemples audio téléversés, une entrée micro et une fusion contrôlée par l’utilisateur des scores de similarité visuels et auditifs. Un questionnaire en ligne sur la recherche fondée sur le son montre que les utilisateurs associent la recherche audio aux phrases prononcées, à l’identité des locuteurs, aux événements sonores, aux changements de musique, aux indices d’action et au contexte environnemental, en particulier lorsque l’information visuelle est obstruée, hors champ, peu fiable ou inefficace à inspecter. Le bénéfice de l’intégration audio sur les performances n’est pas validé expérimentalement dans ce manuscrit ; le prototype audiovisuel et le questionnaire fournissent une base de conception et une base méthodologique pour une évaluation future. Dans l’ensemble, cette thèse défend l’idée que la recherche dans les vidéos égocentriques pour des usages liés à la mémoire devrait être conçue comme un processus de reconstruction interactive, aidant les utilisateurs à transformer des indices visuels et auditifs incomplets en moments vidéo accessibles. |
Egocentric video capture is becoming increasingly accessible through wearable cameras, lifelogging devices, mobile phones, and head-mounted sensors. These recordings can support lifelogging and memory augmentation by preserving traces of everyday experience from the point of view of the person who lived them. However, the growing ease of capture creates a retrieval problem: personal video archives become long, noisy, weakly structured, and difficult to search. In such archives, relevant moments are rarely isolated or explicitly annotated, and users often search from incomplete memory cues rather than precise descriptions.
This thesis investigates interactive retrieval mechanisms for egocentric videos when the user’s search intent is vague, partial, or multimodal. First, it characterizes vague queries in egocentric video moment retrieval by distinguishing semantic ambiguity, incompleteness, broadness, and temporal vagueness, and by relating these forms of vagueness to cognitive mechanisms involved in memory recall and verbalization. Second, it presents an interactive retrieval framework that places user interaction around existing zero-shot vision-language matching models, enabling users to inspect and refine candidate moments through textual queries, image queries, score thresholding, temporal navigation, and semantic visualization. A pilot user study comparing this framework with standard video navigation shows comparable completion time and precision, lower recall, and higher appreciation for textual search, thresholding, and semantic navigation. The results suggest that vague-query retrieval is not a single query-response process, but an iterative interaction in which users combine semantic search, navigation, filtering, and manual verification.
The thesis then extends this work toward audio-visual retrieval. Since remembered events may be cued by sound, speech, background noise, music, or other auditory signals, an audio-aware prototype is designed to support uploaded audio examples, microphone input, and user-controlled fusion of visual and auditory similarity scores. An online survey on sound-based search shows that users associate audio retrieval with spoken phrases, speaker identity, sound events, music changes, action cues, and environmental context, especially when visual information is obstructed, off-camera, unreliable, or inefficient to inspect. The performance benefit of audio integration is not experimentally validated in this manuscript; instead, the audio-visual prototype and survey provide a design and methodological basis for future evaluation. Overall, this thesis argues that egocentric video retrieval for memory-oriented use should be designed as an interactive reconstruction process, helping users transform incomplete visual and auditory cues into accessible video moments. |