Afin de guider les décideurs dans la mise en œuvre de stratégies d’atténuation et d’adaptation aux fortes chaleurs en ville, une cartographie fine des températures est nécessaire. La télédétection permet d’estimer la température de surface terrestre (Land Surface Temperature, LST) des surfaces observées. Toutefois, les capteurs satellitaires existants et les futures missions thermiques, telles que TRISHNA, fournissent des observations dont la résolution spatiale, d’environ 60 m, ne permet pas de distinguer les éléments urbains dont les dimensions sont de l’ordre de 10 m.
Cette thèse cherche à répondre à la question « comment fusionner des observations spectrales, morphologiques, 3D et thermales pour une prédiction de LST fidèle et physiquement cohérente pour atteindre une résolution spatiale de 10 m à partir de données à 60 m sur les milieux urbains ? ». Pour cela, une première contribution de ce travail est la constitution et la mise à disposition d’un jeu de données co-registrées d’indices spectraux, morphologiques et 3D, de luminances thermiques (Thermal IndraRed, TIR) et de LST à basse-résolution (BR, 60 m) et haute-résolution (HR, 10 m), nommé MUSTANG-ROI. Celui-ci est basé sur des observations aéroportées et satellitaires sur quatre villes européennes, y compris Toulouse (France). Deux familles d’approches sont étudiées : les méthodes auto-supervisées, appliquées directement aux observations d’une scène urbaine, et les méthodes supervisées nécessitant un entraînement au préalable avant son application sur de nouvelles scènes urbaines.
Les méthodes auto-supervisées reposent généralement sur deux étapes : une étape de régression, dans laquelle les différentes modalités sont fusionnées par apprentissage automatique afin de produire une première estimation de la LST à basse et haute résolution, puis une étape de correction, dans laquelle les écarts entre prédictions et observations à basse résolution, appelés résidus, sont interpolés spatialement et réinjectés dans les prédictions haute résolution. Cette correction vise notamment à assurer la cohérence entre les LST super-résolues puis réagrégées et les observations à basse résolution. Dans ce travail, nous mettons en évidence un défaut de généralisation de certaines approches lorsque la correction est appliquée, en particulier du point de vue de la fidélité des LST super-résolues. Notamment, une fusion basée sur un Random Forest et utilisant une correction des résidus bicubique peut améliorer la similarité structurelle (SSIM) mais dégrader l’erreur quadratique moyenne (RMSE). Cette observation justifie notre deuxième contribution, une méthode de fusion intervenant après l’étape de correction : Porco-FTSR. Sur Toulouse, la méthode de référence donne 3.74 K et 0.66, respectivement pour la RMSE et la SSIM, alors que PoRCo-FTSR donne 3.13 K et 0.76.
Les méthodes supervisées nécessitent un jeu de données de LST HR complémentaire aux observations à BR afin d'assurer l'entraînement de méthodes de fusion basées sur l'apprentissage profond. Pour cela, MUSTANG-ROI est complété par des techniques d’augmentation de données. Une troisième contribution de ce travail et l’utilisation de ce jeu de données pour la comparaison de d’approches par apprentissage profond permettant une meilleure cohérence entre données prédites et données observées. Premièrement, une fusion des différentes modalités à travers l’utilisation d’un U-Net est implémenté. Deuxièmement, nous montrons que l’intégration, en entrée du réseau, des sorties de méthodes auto-supervisées permet des améliorations significatives des performances. Troisièmement, des corrections des résidus entraînables ou non sont considérées en parallèle d’une approche Plug-and-Play (PnP). Bien que cette approche intègre un terme de fidélité aux observations à basse résolution celle-ci donne 2.91 K et 0.79, respectivement pour la RMSE et la SSIM, sur Toulouse alors que le U-Net permet des performances de 2.93 K et 0.79. |
To support decision-makers in the implementation of heat mitigation and adaptation strategies in cities, fine-scale mapping of urban temperatures is required. Remote sensing makes it possible to estimate the Land Surface Temperature (LST) of observed surfaces. However, existing and future thermal missions, such as TRISHNA, provide observations at a spatial resolution of approximately 60 m, which is insufficient to distinguish urban elements whose dimensions are on the order of 10 m and below.
This thesis seeks to answer the question “how can spectral, morphological, 3D and thermal observations can be leveraged for accurate and physically coherent LST Super-Resolution (LSTSR) from 60 m to 10 m over urban areas?”. To this end, a first contribution is the constitution and release of a dataset of co-registered spectral, morphological, and 3D indices with TRISHNA-like surface Thermal InfraRed (TIR) radiances and LST at both Low-Resolution (LR, 60 m) and High-Resolution (HR, 10 m), referred to as MUSTANG-ROI. This dataset is based on airborne and satellite derived-data from four European cities including Toulouse (France). This extensive work on data processing permitted us to investigate two main families of LSTSR approaches: the self-supervised methods, which are applied directly to the observations of a given urban scene, and the supervised methods, which need prior training before being applied to a new urban observation.
Self-supervised methods generally rely on two steps: a regression step, in which the different modalities are fused using machine learning methods to provide an initial estimate of LST at both low and high spatial resolutions; and a correction step, in which the differences between predictions and observations at LR, referred to as residuals, are spatially interpolated and compensated into the HR predictions. This correction notably aims to ensure that the HR prediction remains coherent with the thermal observation when aggregated back to LR. We highlight a lack of generalization in some approaches when the correction step is applied, particularly with respect to the data fidelity of the super-resolved LST. In particular, fusing spectral, morphological and 3D indices with a Random Forest and using bicubic residual correction improves the Structural Similarity (SSIM) but can degrade the Root Mean Squared Error (RMSE) compared to a baseline method. Based on this observation, the second contribution is the proposal of a fusion method applied after the correction step: PoRCo-FTSR. This approach provides enhanced performance relative to the baseline method while never degrading performances on every tested observation. Over Toulouse, the baseline method yields 3.74 K and 0.66 respectively for RMSE and SSIM, while PoRCo-FTSR yields 3.13 K and 0.76.
Supervised methods require training on an external dataset encompassing reference HR LST before before application to new observations. To this end, MUSTANG-ROI was completed with data augmentation techniques. Our final contribution is the use of this dataset to compare deep-learning-based approaches allowing better coherence between predictions and observations. First, a U-Net architecture is employed to fuse various combinations of modalities and predict HR LST directly, or through the prediction of TRISHNA-like TIR radiances. Secondly, self-supervised LSTSR outputs included as inputs to the model is shown to improve performances. Third, U-Net fusion coupled with either, bicubic or trainable residual correction along with a U-Net based Plug-and-Play approach, are considered. Although the latter approach includes a fidelity term with respect to the LR observations at inference time, its performances remain lower to those obtained with the U-Net. Over Toulouse the best PnP approach yields 2.91 K and 0.79 for RMSE and SSIM while the U-Net results in 2.93 K and 0.79. |