Cette thèse s'inscrit dans le cadre du projet ANR/FACEPE ARPON (Autonomous Robotic Platform for Orchard Navigation) consacré à la navigation autonome d'un robot dans un verger. Bien que la navigation autonome ait été largement étudiée en robotique, son application aux vergers doit encore lever certains verrous. Tout d'abord, la canopée des arbres et les filets de protections perturbent les signaux GNSS (Global Navigation Satellite System), empêchant d'utiliser des systèmes de navigation par satellites comme dans les cultures en champ ouvert (céréales, vignes, etc.). De ce fait, dans le cas des vergers, les stratégies de commande doivent s’appuyer sur des informations locales et fournies par des capteurs embarqués sur le robot pour naviguer. De plus, les vergers sont des environnements naturels qui subissent d’importantes variations visuelles. En effet, leur apparence change en fonction des saisons, des conditions météorologiques, de l'entretien (taille, récolte, tonte, etc.) et du type de culture. Le système de perception doit donc être capable de fournir les informations nécessaires à la navigation malgré ces variations. Dans ces travaux, seul le problème de la navigation dans une parcelle est traité, celui de la navigation dans le reste de l'exploitation, tel que celle entre la zone de parking et la parcelle, n'est pas considéré. La navigation dans une parcelle consiste à enchaîner les tâches de traversée d'inter-rangs (les zones entre les rangées d'arbres) et de demi-tour dans les zones de fourrières (les zones libres au bout des rangées utilisées pour les manœuvres). Dans ces travaux, nous présentons une stratégie de navigation reposant sur l'asservissement visuel prédictif pour répondre à ces problématiques. Pour ce faire, il est proposé d'utiliser les troncs au voisinage du robot, seuls éléments invariants dans le verger, comme amers de navigation. Ces derniers sont détectés et localisés à l'aide d'un système de cinq caméras RGB-D dont les champs de vue couvrent son environnement direct. La détection est assurée par le réseau de neurones YOLOv8, entrainé avec une base de données faite spécialement pour le projet, pour segmenter les troncs dans les images. Puis, la position des troncs au voisinage du robot est estimée à partir de la segmentation et des informations de distance de l'image de profondeur. Ces positions sont ensuite utilisées pour calculer la prochaine commande à envoyer au robot. Pour cela, deux stratégies de commandes ont été développées. La première aborde le problème comme celui d'une régulation de positions basée sur du suivi de spirale et un schéma de contrôle prédictif. Cependant, bien que le robot parvienne à naviguer dans un verger en simulation, cette stratégie souffre de problèmes d'oscillations dans la trajectoire du robot. En réponse à ces observations, nous avons développé une seconde stratégie qui s'appuie sur du suivi de chemin. Cette seconde stratégie exploite aussi la position des troncs au voisinage du robot. Elles sont utilisées pour calculer un ensemble de points de passage, calculé à partir du diagramme de Voronoï dans l'inter-rangs et à partir du modèle de spirale de la première stratégie pour le demi-tour. Ces derniers sont ensuite reliés à l'aide d'une courbe NURBS. Enfin, le suivi de chemin est aussi assuré par un schéma de contrôle prédictif couplé à une formulation du problème basée sur le repère de Frenet. Les performances de cette seconde stratégie ont été validées lors de deux campagnes expérimentales dans deux vergers différents. Pour cela, la base mobile de type voiture AgileX Hunter 2.0 a été instrumentée avec un système de cinq caméras RGB-D, pour la détection des troncs au voisinage du robot, ainsi qu'avec un ordinateur et deux cartes graphiques pour exécuter les traitements. Finalement, lors de la seconde campagne, le robot est parvenu à naviguer en autonomie pendant 25 minutes et parcourir 750 mètres dans le verger commercial du CEFEL situé à Montauban. |
This thesis is part of the ANR/FACEPE ARPON (Autonomous Robotic Platform for Orchard Navigation) project, which focuses on the autonomous navigation of a robot in an orchard. Although autonomous navigation has been widely studied in robotics, its application to orchards has yet to overcome certain obstacles. Firstly, the tree canopy and protective netting interfere with GNSS (Global Navigation Satellite System) signals, preventing the use of satellite navigation systems as in open field crops (cereals, vines, etc.). As a result, in the case of orchards, control strategies have to rely on local information provided by sensors on board the robot to navigate. Moreover, orchards are natural environments that are subject to significant visual variations. Their appearance changes according to the seasons, weather conditions, maintenance (pruning, harvesting, mowing, etc.) and the type of crop. The perception system must therefore be able to provide the information needed for navigation despite these variations. In this work, only the problem of navigation in a plot is addressed, the navigation in the rest of the farm, such as that between the parking area and the plot, is not considered. Navigation in a plot consists of a sequence of tasks involving inter-rows crossing (the areas between rows of trees) and U-turns in the headlands (the free areas at the end of rows used for manoeuvring). In this work, we present a navigation strategy based on predictive visual servoing to address these issues. To do this, we propose to use the trunks in the vicinity of the robot, which are the only invariant elements in the orchard, as navigation landmarks. These are detected and located using a system of five RGB-D cameras whose fields of view cover its direct environment. Detection is carried out by the YOLOv8 neural network, trained with a database created specifically for the project, to segment the trunks in the images. The position of the trunks in the vicinity of the robot is then estimated from the segmentation and distance information in the depth image. These positions are then used to calculate the next command to be sent to the robot. Two command strategies have been developed for this purpose.The first approaches the problem as position regulation based on spiral tracking and a predictive control scheme. However, although the robot managed to navigate through an orchard in simulation, this strategy suffered from oscillation problems in the robot's trajectory. In response to these observations, we developed a second strategy based on path following. This second strategy also exploits the position of the trunks in the vicinity of the robot. These are used to calculate a set of waypoints, calculated from the Voronoi diagram in the inter-row and from the spiral model of the first strategy for the U-turn. These are then linked using a NURBS curve. Finally, path following is also provided by a predictive control scheme coupled with a problem formulation based on the Frenet frame. The performance of this second strategy was validated during two experimental campaigns in two different orchards. To do this, the Hunter 2.0 car-like mobile base from AgileX was instrumented with a system of five Intel Realsense RGB-D cameras to detect trunks in the vicinity of the robot, as well as a computer and two graphics cards to run the processing. Finally, during the second campaign, the robot managed to navigate autonomously for 25 minutes and cover 750 metres in a CEFEL's commercial orchard in Montauban (France). |