Dans le domaine de la détection et du suivi d’obstacles pour les systèmes ADAS (Advanced Driver Assistance System) basés vision, il est nécessaire d’assurer la localisation du véhicule. Le SLAM (Simultaneous Localization and Mapping) basé vision propose de résoudre ce problème en combinant l’estimation de l’état du véhicule (localisation : position et orientation) et une modélisation incrémentale de l’environnement. Ce dernier est perçu par l’extraction de caractéristiques (points d’intérêt) dans une séquence d’images et leur suivi au cours du temps pour permettre la construction incrémentale d’une carte d’amers. Cette phase de perception engendre une importante charge de calcul qui affecte très significativement la latence et la cadence du système.
Le co-design permet de concevoir une architecture mixte de calcul pour la résolution d’un problème particulier. Dans ce type d’architecture, l’utilisation d’accélérateurs matériels permet d’améliorer significativement les performances (temps d’exécution, encombrement, consommation). Le ZynQ (Xilinx) propose une architecture de prototypage mixte comprenant un processeur dual-core associé à des ressources matérielles configurables.
L’objectif de cette thèse est donc de proposer une implémentation co-design d’un SLAM basé vision par la conception d’accélérateurs pour les opérations de vision afin de satisfaire les contraintes en performances des systèmes ADAS embarqués.
La première contribution des travaux est la conception de cette chaîne complète 3D EKF-SLAM à l’aide une approche co-design. Nous avons défini et validé, selon notre méthodologie
de conception, le choix d’une architecture Hardware-in-the-loop (HIL) afin de valider les différentes itérations de conception.
La seconde contribution est l’intégration de modules matériels dédiés pour accélérer les traitements de perception visuelle de cette chaîne (détection, description et mise en correspondance de points d’intérêt).
|
In obstacles detection and tracking for vision based ADAS (Advanced Driver Assistance System) systems, it is necessary to ensure the location of the vehicle. Vision based SLAM (Simultaneous Localization and Mapping) proposes to solve this problem by combining the estimated vehicle's state (location: position and orientation) and the incremental modeling of the environment. It is perceived by the feature extraction (points of interest) in a sequence of images and tracking over time to allow incremental construction of a landmarks map. This perception task causes significant computational load that affects significantly the latency and the system throughput.
Co-design allows to design a mixed computing architecture to solve a specific problem. In this type of architecture, the use of hardware accelerators can significantly improve performances (execution time, size, consumption). The Zynq (Xilinx) proposes a mixed architecture for prototyping including a dual-core processor coupled with configurable hardware resources.
The objective of this thesis is to propose a co-design implementation of a vision SLAM based on hardware accelerators for vision tasks to meet the performances constraints of embedded ADAS systems.
The first contribution of the work is the design of the complete 3D EKF-SLAM chain using a co-design approach. We have defined and validated, according to our design methodology, the choice of architecture hardware-in-the-loop (HIL) to validate the different design iterations.
The second contribution is the integration of dedicated hardware modules to accelerate visual perception processing of this chain (features detection, description and matching). |