En observation de la Terre, l'un des principaux défis est de cartographier l'artificialisation des sols qui a été identifiée comme un enjeu majeur de politique publique dans le plan Biodiversité 2018 du Ministère de la Transition Écologique. L'étalement urbain, c'est à dire l'imperméabilisation de surfaces naturelles avec des matériaux artificiels imperméables, a en effet d'importants impacts sur l'hydrologie des bassins versants, et en particulier sur le risque d'inondations et de sécheresses, sur les phénomènes d'îlots de chaleur urbain et sur la captation du carbone par les sols. Si des techniques de cartographie automatiques ou semi-automatiques ont permis de produire un grand nombre de cartes d'occupation ou d'usage des sols à grandes échelles et à des résolutions spatiales moyennes, aucune ne permet actuellement de cartographier à haute résolution spatiale les différents types de surfaces imperméabilisées à l'échelle d'une métropole. Pourtant, de telles cartes permettraient de guider et prioriser les politiques publiques de désimperméabilisation. L’imagerie hyperspectrale aéroportée offre un très grand potentiel de discrimination des matériaux aux sols du fait de ses hautes résolutions spatiales et spectrales. Les algorithmes de cartographie de l'état de l'art optimisent des modèles de segmentation sémantique à partir d'une très faible proportion des pixels de l'image pour lesquels une vérité terrain est connue. La taille de cette vérité terrain est souvent très faible par rapport à la diversité des matériaux dans une métropole car l’annotation de pixels à partir de campagnes terrains est très coûteuse. Ainsi, il est difficile d'optimiser des modèles d'apprentissage statistique qui représentent les données par des caractéristiques spectrales discriminantes et robustes à des variations spectrales intra-classes (qui se distingue en des variations spectrales « physiques », « intrinsèques » et « sémantiques ».
Dans ce contexte, les trois contributions principales de cette thèse consistent à tirer parti, de différentes manières, de l’information spectrale des dizaines de millions de pixels non annotés de l’image hyperspectrale d’une métropole. Notre première contribution est d'étudier le potentiel des méthodes d'Active Learning (AL) à sélectionner parmi tous les pixels de l'image quelques centaines à annoter pour améliorer la représentativité de la nomenclature d’une carte de surfaces imperméabilisées et la qualité de la base d'apprentissage. Nos expériences montrent que différentes stratégies d’AL sont complémentaires et peuvent améliorer de plus de 10 % la précision des modèles de segmentation pour 300 pixels annotés en plus. L’intérêt des algorithmes d’AL est néanmoins limité par la capacité des modèles de segmentation (utilisés par les méthodes d'AL elles-mêmes) à apprendre des représentations discriminantes. Ainsi, notre seconde contribution est d'utiliser à la fois les données non annotées et des connaissances a priori issues de lois physiques pour apprendre des représentations spectrales robustes à des variations intra-classes physiques. Nos expériences numériques montrent que notre modélisation hybride permet de significativement augmenter les capacités d'extrapolation d’un modèle de segmentation par rapport aux modèles d'apprentissage conventionnels pour des matériaux avec des conditions d'éclairement qui n'étaient pas représentées dans la base d'apprentissage (+10% et +2% de précision sur des données simulées et réelles, respectivement). Finalement, notre troisième contribution est d'étudier le potentiel des méthodes non-supervisées et auto-supervisées pour apprendre des représentations spectrales robustes aux variations intrinsèques et sémantiques. Pour cela, nous avons construit et rendu publique une très grande base de données particulièrement adaptée à l’apprentissage semi-supervisé et auto-supervisé, sur laquelle nous établissons deux techniques d’apprentissage de représentation comme références. |
In Earth observation, one of the main challenges is to map soil artificialization, which was identified as a major public policy issue in the 2018 Biodiversity plan of the French Ministry of Ecological Transition. Urban sprawl, which consists in the sealing of natural surfaces with artificial impermeable surfaces, has indeed major consequences on watershed hydrology, in particular on floods and droughts, on urban heat island effects and on soil carbon sequestration. If semi-automatic or automatic mapping techniques have allowed to produce large scale land cover or land use maps at medium spatial resolution, current methods cannot produce exhaustive land cover maps of artificial impermeable surfaces at high spatial resolution over large urban areas. Yet, such maps could guide public policies to mitigate the environmental consequences of artificial impermeable surfaces.
Airborne hyperspectral imaging offers a great potential for discriminating the land cover, thanks to its high spatial resolution and high spectral resolution over a wide spectral range. State-of-the-art mapping techniques are computer vision methods that optimize semantic segmentation models (i.e. models that segment the image into zones to which classes are assigned) from a small subset of pixels of the image for which a ground truth is known. The ground truth, especially the training database, is usually very small with respect to the diversity of materials in metropolitan areas because labeling pixels through fields campaigns and photo-interpretation is very expensive. Thus, training semantic segmentation models that are robust to intra-class spectral variations (and incidentally to inter-class similarities), or in other words to represent data with discriminating spectral features, is difficult. Intra-class variability can be divided in three categories: “physics” variations induced by different illumination conditions, “intrinsic” variations induced by slight variations in the material composition and “semantic” variations resulting from the fact that the nomenclature gathers different materials within the same land cover classes.
In this context, the three main contributions of this thesis consist in leveraging by different means the spectral information of the millions of unlabeled pixels in the hyperspectral image. Our first contribution is to study the potential of Active Learning (AL) methods to select from all the pixels in the image a few hundred to annotate in order to improve the representativeness of the nomenclature of impermeable surface maps and the quality of the training data set. Our experiments show that different AL strategies are complementary and can improve the accuracy of segmentation models by more than 10% for an additional 300 annotated pixels. Nevertheless, the benefits of AL is limited by the ability of segmentation models (used by AL methods themselves) to learn discriminating representations. Thus, our second contribution is to use both unlabeled data and a priori knowledge derived from physical laws to learn spectral representations robust to physical intra-class variations. Our numerical experiments show that the introduced hybrid modeling significantly increases the extrapolation capabilities of a segmentation model compared to conventional machine learning models for materials with illumination conditions that were not represented in the training database (+10% and +2% accuracy on simulated and real data, respectively). Finally, our third contribution is to investigate the potential of unsupervised and self-supervised methods for learning spectral representations robust to intrinsic and semantic variations. To this end, we have built and released a very large hyperspectral database particularly suited to semi-supervised and self-supervised learning, on which we are establishing two baselines for spectral representation learning. |