Cette thèse porte sur le développement de méthodes de fusion de données pour les systèmes de navigation d’hélicoptères, avec un intérêt particulier pour l’estimation de pose caméra dans un contexte d’assistance à l’atterrissage autonome. Le problème étudié consiste à aligner des observations 2D acquises par une caméra embarquée avec une carte 3D connue de l’environnement, afin d’estimer la pose à six degrés de liberté de la caméra. L’application principale concerne l’approche d’un hélipad, où les feux de la plateforme constituent des amers visuels déjà présents dans l’infrastructure. Ce contexte soulève cependant plusieurs difficultés : les correspondances entre les détections image et les points de la carte ne sont pas connues, les images peuvent être dégradées par le bruit, le flou, les occultations ou la faible luminosité, et de nombreux faux positifs peuvent être générés par la pollution lumineuse.
Pour répondre à ces contraintes, cette thèse propose un cadre probabiliste de recalage 2D–3D sans correspondances explicites. Les associations entre les points 2D et 3D sont modélisées comme des variables latentes, tandis que les erreurs de mesure et les observations aberrantes sont prises en compte par un modèle statistique robuste. L’estimation conjointe des associations, de la variance du bruit, de la proportion d’aberrants et de la pose caméra est réalisée au moyen d’un algorithme de type Expectation-Maximization, plus précisément dans une formulation à maximisations conditionnelles. La mise à jour de la pose est formulée comme une minimisation pondérée de l’erreur de reprojection. Plusieurs paramétrisations de la transformation rigide sont étudiées, notamment une représentation angle-axe et une formulation sur les groupes de Lie, mieux adaptée au couplage entre rotation et translation.
La thèse étudie ensuite l’intégration d’informations complémentaires afin de réduire les ambiguïtés d’association. Une première extension exploite l’information sémantique associée aux points, par exemple la classe ou la couleur des feux de l’hélipad, afin de favoriser les correspondances géométriquement et sémantiquement cohérentes. Une seconde extension introduit une information structurelle décrivant l’organisation locale des points, notamment à l’aide de descripteurs de type Shape Context. Ces apports permettent d’améliorer la robustesse du recalage dans des scènes présentant des structures répétitives, des observations partielles ou des détections ambiguës.
Enfin, une extension temporelle est proposée pour traiter des séquences d’images. La prédiction issue d’un filtre de Kalman est utilisée pour initialiser et stabiliser le recalage image par image. Un mécanisme de validation statistique permet de rejeter les mesures incohérentes, tandis qu’une formulation bayésienne de type EM-MAP intègre directement une information a priori sur la pose. Les expérimentations montrent que les méthodes proposées convergent avec précision dans différents scénarios de bruit, d’occultation et d’aberrants, que la paramétrisation sur groupes de Lie améliore la stabilité numérique, et que l’intégration d’informations sémantiques, structurelles et temporelles renforce la robustesse globale du système. Les résultats mettent également en évidence les limites liées à la qualité de l’initialisation, des détections 2D, de la calibration et de la carte 3D, ouvrant des perspectives vers une validation plus large sur données réelles et vers une intégration opérationnelle dans les systèmes d’aide à la navigation.
|
This thesis focuses on the development of data fusion methods for helicopter navigation systems, with particular focus on camera pose estimation in the context of autonomous landing assistance. The problem under study consists in aligning 2D observations acquired by an onboard camera with a known 3D map of the environment in order to estimate the six-degree-of-freedom pose of the camera. The main application concerns the approach to a helipad, where the platform lights serve as visual landmarks already available in the infrastructure. However, this context raises several challenges: the correspondences between image detections and map points are unknown, the images may be degraded by noise, blur, occlusions, or low-light conditions, and numerous false positives may be generated by light pollution.
To address these constraints, this thesis proposes a probabilistic framework for 2D–3D registration without explicit correspondences. The associations between the 2D and 3D points are modelled as latent variables, while measurement errors and outlier observations are handled using a robust statistical model. The associations, noise variance, outlier proportion, and camera pose are jointly estimated using an Expectation-Maximization algorithm, more specifically through an expectation-conditional-maximization formulation. The pose update is formulated as the weighted minimization of the reprojection error. Several parameterizations of the rigid transformation are investigated, including an angle-axis representation and a Lie-group formulation, which is better suited to handling the coupling between rotation and translation.
The thesis then investigates the integration of complementary information to reduce association ambiguities. A first extension exploits semantic information associated with the points, such as the class or colour of the helipad lights, in order to favour correspondences that are both geometrically and semantically consistent. A second extension introduces structural information describing the local organization of the points, particularly through Shape Context descriptors. These contributions improve the robustness of the registration process in scenes containing repetitive structures, partial observations, or ambiguous detections.
Finally, a temporal extension is proposed to process image sequences. The prediction provided by a Kalman filter is used to initialize and stabilize the registration for each image. A statistical validation mechanism is introduced to reject inconsistent measurements, while a Bayesian EM-MAP formulation directly incorporates prior information about the pose. The experiments show that the proposed methods converge accurately under various noise, occlusion, and outlier scenarios, that the Lie-group parameterization improves numerical stability, and that the integration of semantic, structural, and temporal information enhances the overall robustness of the system. The results also highlight limitations related to the quality of the initialization, the 2D detections, the calibration, and the 3D map, opening the way towards broader validation on real-world data and operational integration into navigation assistance systems.
|