Soutenance de thèse de Kevin VERDIERE

Approche en connectivité du monitoring d'état mental en contexteaéronautique : de l’opérateur unique aux coéquipiers


Titre anglais : Connectivity approach to mental state monitoring in the aeronauticalcontext: from single operator to teammates
Ecole Doctorale : SYSTEMES
Spécialité : Systèmes embarqués
Etablissement : Institut Supérieur de l'Aéronautique et de l'Espace
Unité de recherche : ISAE-ONERA ACDC - Analyse, Commande Dynamique et Conception des systèmes
Direction de thèse : Frédéric DEHAIS- Raphaëlle ROY


Cette soutenance a eu lieu jeudi 19 décembre 2019 à 14h00
Adresse de la soutenance : ISAE-SUPAERO 10 Avenue Edouard Belin 31400 Toulouse - salle Salle des Thèses

devant le jury composé de :
Frédéric DEHAIS   ERE   ISAE-SUPAERO   Directeur de thèse
Raphaëlle ROY   Associate Professor   ISAE-SUPAERO   CoDirecteur de thèse
Steven FAIRCLOUGH   Professeur   Liverpool John Moores Unviersity   Rapporteur
Anne-Marie BROUWER   Associate Professor   The Netherlands Organisation for Applied Scientific Research   Rapporteur
Fabien LOTTE   Directeur de Recherche   Laboratoire Bordelais de Recherche en Informatique (UMR 5800)   Président
Emmanuel GARDINETTI   Ingénieur en chef de 2e classe des études et techniques de l'armement   Direction Générale de l'Armement   Examinateur


Résumé de la thèse en français :  

Il existe un intérêt croissant pour la mise en œuvre d'outils permettant de monitorer les performances cognitives en environnement réaliste.
Les avancées technologiques récentes ont permis la mise en oeuvre de dispositifs de monitoring portables, tels que l'électroencéphalogramme (EEG), la spectroscopie fonctionnelle proche infrarouge proche (fNIRS), l'eye tracking et l'électro-cardiogramme (ECG), afin d'étudier l'activité humaine dans une variété de configurations. Ces capteurs offrent d'intéressantes perspectives pour l'aviation via l’implémentation de systèmes d'interfaces cerveau-ordinateur passives et de technologie neuroadaptive assurant une exploitation plus sûre et plus efficace.
Cependant, un problème critique consiste à extraire des marqueurs de la performance humaine pertinents et robustes pour la classification et pouvant être calculés en ligne. Ce doctorat a pour but d'évaluer les métriques de connectivité permettant de monitorer les performances cognitives.
Nos travaux expérimentaux suggèrent que les métriques de connectivité en fNIRS (en particulier la cohérence en ondelettes) surpassent les métriques classiques lors de l'estimation de l'engagement dans un simulateur de vol réaliste ou de la fatigue dans des conditions réelles de vol.
Nous avons ensuite mis en œuvre une nouvelle méthode, à savoir le compte de coïncidence retardée, pour
évaluer la synchronie cardiaque dans un contexte d'hyperscanning. Les résultats ont révélés que
cette métrique de connectivité était efficace pour détecter la coopération entre des coéquipiers
face à une tâches exigeantes. De plus, les données EEG ont permis de classer la charge de travail et les niveaux de coopération que ce soit en utilisant les métriques issues d'un unique opérateur ou bien les données combinées des deux coéquipiers.

 
Résumé de la thèse en anglais:  

There is growing interest for implementing tools to monitor cognitive performance in naturalistic environments.
Recent technological progress has allowed the development of highly portable monitoring devices such as electroencephalogram (EEG), functional near-infrared spectroscopy (fNIRS), eye-tracking and electro-cardiogram (ECG) to investigate activity in a variety of human tasks. These sensors offer interesting prospects in aviation to implement passive brain computer interfaces (pBCI) and neuroadaptive technology for more efficient and safer operations. However, one critical issue is to derive relevant metrics that could account for human performance in a robust and continuous fashion.
This PhD thesis intends to consider connectivity methods to monitor cognitive performance.
Our experimental works suggest that fNIRS connectivity metrics (especially wavelet coherence) outperformed classical metrics when estimating engagement in a realistic flight simulator or fatigue in real flight conditions.
We then implemented a new method, namely delayed coincidence count, for assessing cardiac synchrony in a hyperscanning context. Results disclosed that this connectivity metrics was efficient to detect cooperation between teammates when facing demanding task settings. Moreover EEG metrics allowed to classify workload and cooperation levels both using single and combined metrics from the 2 teammates.

Mots clés en français :fNIRS, EEG, Classification, Connectivité, Pilotage, Suivi d'états mentaux,
Mots clés en anglais :   Flying, Mental State Monitoring, Classification, EEG, fNIRS, Connectivity,