Soutenance de thèse de YINGSHEN ZHAO

Une approche à base d'ontologie pour le couplage de la planification de tâches et de trajectoires pour la simulation des tâches de manipulation


Titre anglais : An ontology-based approach towards coupling task and path planning for the simulation of manipulation tasks
Ecole Doctorale : SYSTEMES
Spécialité : Informatique et Robotique
Etablissement : Institut National Polytechnique de Toulouse
Unité de recherche : EA 1905 - LGP - Laboratoire Génie de Production
Direction de thèse : Bernard ARCHIMEDE- Philippe FILLATREAU


Cette soutenance a eu lieu lundi 17 juin 2019 à h00
Adresse de la soutenance : ENIT 47 Avenue d'azereix 65000 Tarbes - salle Grand Amphi

devant le jury composé de :
Bernard ARCHIMEDE   PR1   ENIT   Directeur de thèse
Philippe FILLATREAU   Maître de Conférences   ENIT   CoDirecteur de thèse
Mohamed Hedi  KARRAY   Maître de Conférences   ENIT   Examinateur
Alberto IZAGUIRRE ALTUNA   Professor catedratico   Mondragon University   Rapporteur
Nada MATTA   Professeur des Universités   Université de Technologie de Troyes   Rapporteur
Veronique PERDEREAU   Professeur des Universités   Université Pierre et Marie Curie   Examinateur
Yacine OUZROUT   Professeur des Universités   Université Lumière Lyon 2   Examinateur


Résumé de la thèse en français :  

Ce travail traite de la simulation et de la validation de tâches de manipulation complexes sous de fortes contraintes géométriques dans des environnements virtuels. Les applications visées sont liées à l’industrie 4.0. Dans ce cadre les industriels ont besoin de valider, dès la conception, non seulement les modèles CAO statiques de leurs produits mais aussi les tâches (ex. assemblage) liées à leur gestion de cycle de vie.
La communauté scientifique s'est penchée sur cette question sous deux angles :
- La planification des tâches qui décompose une tâche de manipulation à réaliser en une séquence d'actions primitives (un plan de tâches).
- La planification de trajectoire qui calcule des trajectoires sans collision, notamment pour les objets manipulés. Elle utilise traditionnellement des données purement géométriques, ce qui conduit à des limitations classiques (temps de calcul élevé, faible pertinence de la trajectoire proposée, ou échec).
Les approches conjointes de planification des tâches et des trajectoires traditionnelles effectuent une étape classique de planification des tâches, puis vérifient la faisabilité des demandes de planification de trajectoire associées aux actions primitives de ce plan de tâches. Le lien entre ces deux niveaux de planification doit être amélioré, notamment en raison de l'absence de bouclage entre le niveau de planification des trajectoires et le niveau de planification des tâches :
a) L'information de planification de trajectoire utilisée pour remettre en question le plan de tâches se limite habituellement à la faisabilité du mouvement lorsqu'une information plus riche telle que la pertinence ou la complexité de la trajectoire proposée serait nécessaire ;
b) Les requêtes de planification de trajectoire utilisent traditionnellement des données purement géométriques et/ou des méthodes de planification de trajectoire "aveugles" (par exemple, RRT), et aucune information liée aux tâches n'est utilisée au niveau de la planification de trajectoire
Notre travail se concentre sur l'utilisation de l'information liée aux tâches au niveau de la planification de la trajectoire. L'algorithme de planification de trajectoire RRT est considéré pour la simulation et la validation de tâches complexes sous fortes contraintes géométriques. Nous proposons une approche basée sur l'ontologie pour utiliser les informations liées aux tâches afin de spécifier les requêtes de planification de trajectoire pour les actions primitives d'un plan de tâches.
Tout d'abord, nous proposons une ontologie pour conceptualiser les connaissances sur l'environnement 3D dans lequel la tâche simulée se déroule. Cet environnement est considéré comme une partie fermée de l'espace cartésien 3D encombré d'obstacles mobiles/fixes. Il est représenté par un modèle numérique s'appuyant sur une architecture multicouche de données sémantiques, topologiques et géométriques. L'originalité de l'ontologie proposée réside dans le fait qu'elle conceptualise des connaissances hétérogènes tant sur les obstacles que sur les modèles d'espace libre.
Deuxièmement, nous exploitons cette ontologie pour générer automatiquement une requête de planification de trajectoire associée à chaque action primitive donnée d'un plan de tâches. Grâce à un processus de raisonnement impliquant les actions primitives instanciées dans l'ontologie, nous sommes capables de déduire les configurations de départ et « d'objectif », ainsi que les contraintes géométriques liées aux tâches. Enfin, un planificateur de trajet multi-niveaux est appelé pour générer la trajectoire correspondante.
Les contributions de ce travail ont été validées par la simulation complète de plusieurs tâches de manipulation sous de fortes contraintes géométriques. Les résultats obtenus démontrent que notre approche permet un meilleur contrôle sur l'algorithme de planification de trajectoire RRT. Ceci entraîne une réduction du temps de calcul et des trajectoires plus pertinentes pour les actions primitives.

 
Résumé de la thèse en anglais:  

This work deals with the simulation and the validation of complex manipulation tasks under strong geometric constraints in virtual environments. The targeted applications relate to the industry 4.0 framework; as up-to-date products are more and more integrated and the economic competition increases, industrial companies express the need to validate, from design stage on, not only the static CAD models of their products but also the tasks (e.g., assembly or maintenance) related to their Product Lifecycle Management (PLM).
The scientific community looked at this issue from two points of view:
- Task planning decomposes a manipulation task to be realized into a sequence of primitive actions (i.e., a task plan)
- Path planning computes collision-free trajectories, notably for the manipulated objects. It traditionally uses purely geometric data, which leads to classical limitations (possible high computational processing times, low relevance of the proposed trajectory concerning the task to be performed, or failure); recent works have shown the interest of using higher abstraction level data.
Joint task and path planning approaches found in the literature usually perform a classical task planning step, and then check out the feasibility of path planning requests associated with the primitive actions of this task plan. The link between task and path planning has to be improved, notably because of the lack of loopback between the path planning level and the task planning level:
a) The path planning information used to question the task plan is usually limited to the motion feasibility where richer information such as the relevance or the complexity of the proposed path would be needed;
b) path planning queries traditionally use purely geometric data and/or “blind” path planning methods (e.g., RRT), and no task-related information is used at the path planning level
Our work focuses on using task level information at the path planning level. The path planning algorithm considered is RRT; we chose such a probabilistic algorithm because we consider path planning for the simulation and the validation of complex tasks under strong geometric constraints. We propose an ontology-based approach to use task level information to specify path planning queries for the primitive actions of a task plan.
First, we propose an ontology to conceptualize the knowledge about the 3D environment in which the simulated task takes place. The environment where the simulated task takes place is considered as a closed part of 3D Cartesian space cluttered with mobile/fixed obstacles (considered as rigid bodies). It is represented by a digital model relying on a multilayer architecture involving semantic, topologic and geometric data. The originality of the proposed ontology lies in the fact that it conceptualizes heterogeneous knowledge about both the obstacles and the free space models.
Second, we exploit this ontology to automatically generate a path planning query associated to each given primitive action of a task plan. Through a reasoning process involving the primitive actions instantiated in the ontology, we are able to infer the start and the goal configurations, as well as task-related geometric constraints. Finally, a multi-level path planner is called to generate the corresponding trajectory.
The contributions of this work have been validated by full simulation of several manipulation tasks under strong geometric constraints. The results obtained demonstrate that using task-related information allows better control on the RRT path planning algorithm involved to check the motion feasibility for the primitive actions of a task plan, leading to lower computational time and more relevant trajectories for primitive actions.

Mots clés en français :Planification trajectoires, Planification des tâches, Modélisation ontologique, Ontologie modulaire, Réalité Virtuelle, environnement 3D,
Mots clés en anglais :   Trajectory planning, Task planning, Ontology modeling, Ontology modularity, 3D environement, Virtual reality,