L’interception aérienne autonome nécessite que des drones poursuivent et capturent des cibles agiles malgré de fortes contraintes liées à la dynamique du vol, aux ressources de calcul et aux conditions opérationnelles. Les méthodes classiques de guidage et de commande sont efficaces lorsque le comportement de la cible et la dynamique du véhicule sont prévisibles, mais s’adaptent difficilement aux manoeuvres d’évasion, aux exigences d’une coordination décentralisée et aux dynamiques non linéaires du vol agile. Cette thèse étudie l’apprentissage par renforcement multiagent (MARL) pour concevoir des politiques de guidage et de commande destinées à la poursuite et à l’interception autonomes de cibles aériennes, en visant un réalisme physique croissant et le transfert vers des drones réels porteurs de filets.
La première contribution porte sur la localisation coopérative d’une cible par triangulation multi-vues. Des drones équipés de caméras apprennent des politiques de guidage décentralisées qui réduisent l’incertitude sur la position triangulée de la cible. Ce travail explore un guidage aérien multi-agent fondé sur l’apprentissage et tenant compte de l’incertitude, tout en révélant les limites des consignes de vitesse pour le guidage agile.
La deuxième contribution porte sur l’infrastructure logicielle et de calcul nécessaire à l’entraînement à grande échelle. Après une analyse des solutions existantes, une plateforme développée avec JAX exploite la vectorisation sur GPU pour accélérer la simulation et l’apprentissage MARL dans des environnements reproduisant la dynamique des drones. Elle accélère la collecte d’expériences simulées et rend possibles les entraînements intensifs requis pour l’interception.
La thèse aborde ensuite l’interception de cibles agiles dans un cadre de poursuite-évasion. Un premier scénario oppose un drone poursuivant équipé d’un filet à une cible qui cherche à lui échapper. Les deux drones apprennent, par renforcement compétitif, des politiques de commande de bas niveau agissant directement sur la poussée collective et les vitesses angulaires.
Les politiques obtenues génèrent des manoeuvres compatibles avec la dynamique des drones et surpassent les heuristiques classiques, en simulation comme lors d’essais en vol contrôlés. Le scénario est ensuite étendu à une équipe de poursuivants équipés de filets. En combinant l’algorithme Multi-Agent Proximal Policy Optimization (MAPPO) à un entraînement par populations fondé sur le Prioritized Fictitious Self-Play (PFSP), ceux-ci apprennent des stratégies coordonnées de capture sans mécanisme de coordination conçu a priori. L’échantillonnage priorisé des politiques adverses renforce leur robustesse face à diverses stratégies d’évasion.
Enfin, la thèse traite du transfert vers le réel des politiques d’interception. L’identification de la dynamique à partir de vols pilotés manuellement révèle de fortes corrélations entre les paramètres physiques du modèle, qu’une variation indépendante ne préserverait pas. Une méthode de variation aléatoire structurée autour de l’autorité de commande produit des modèles physiquement cohérents et renforce la robustesse des politiques aux erreurs de modélisation. Elle vise ainsi à faciliter leur déploiement sur des drones réels équipés de filets.
Dans son ensemble, cette thèse montre le potentiel du MARL pour l’interception agile par plusieurs drones, tout en soulignant les difficultés liées au réalisme physique et au déploiement dans le monde réel. |
Autonomous aerial interception requires drones to pursue, and capture agile targets under strong dynamic, computational, and operational constraints. Classical guidance and control methods provide efficient solutions when the target behaviour and vehicle dynamics are sufficiently predictable, but they become difficult to adapt to adversarial manoeuvres, decentralized coordination, and the nonlinear flight envelope of agile quadrotors. This thesis investigates the use of multi-agent reinforcement learning (MARL) to synthesize guidance and control policies for autonomous aerial target pursuit and interception, with a progressive emphasis on physical realism and transfer toward real net-carrying drones.
The first contribution studies cooperative aerial target localization through N-view triangulation. A team of drones equipped with onboard cameras learns decentralized guidance policies that position the agents so as to reduce the uncertainty of the triangulated target position. This work introduces uncertainty-aware multi-agent guidance as an entry point toward learned aerial guidance, while highlighting the limitations of high-level control abstractions (in this case velocity) for agile guidance tasks.
The second contribution concerns the computational framework required to train such policies at scale. Following a survey of existing technical solutions, a GPU-vectorized simulation and training pipeline, implemented in JAX, is developed to support efficient multi-agent reinforcement learning with realistic drone-oriented environments. This framework enables high-throughput rollouts and scalable MARL training, which are necessary for the later interception scenarios.
The thesis then addresses agile pursuit–evasion. First, a 1v1 interception problem is formulated as a competitive reinforcement learning task in which both the pursuer and the evader learn low-level collective-thrust and body-rate control policies. This formulation enables physically plausible agile manoeuvres and outperforms classical heuristic baselines in simulation and controlled experiments. The problem is then extended to a team of net-carrying pursuers facing an agile evader. Using Multi-Agent Proximal Policy Optimization (MAPPO) and population-based training (Prioritized Fictitious Self-Play), the pursuers learn coordinated capture behaviours without an explicit hand-designed coordination layer, while prioritized opponent sampling improves robustness against diverse evasion strategies.
Finally, the thesis investigates the sim-to-real gap for net-carrying interceptor drones. In particular, correlations between physical parameters identified from manual flight data are taken into account rather than treating them as independent variables. This observation motivates the use of control-authority domain randomisation to improve the robustness and transferability of learned policies. These efforts aim to better align simulation with real-world conditions and support the deployment of agile interception policies on physical platforms.
Overall, this thesis demonstrates that multi-agent reinforcement learning offers a framework for advancing toward agile multi-drone interception, while also highlighting the practical challenges and limitations encountered when applying these methods to physically realistic aerial systems and real-world deployment. |