Par opposition à la Réalité Augmentée qui consiste à ajouter des éléments virtuels à un environnement réel, la Réalité Diminuée consiste à supprimer des éléments réels d'un environnement. Le but est d'effectuer un rendu visuel d'une scène 3D où les éléments "effacés" ne sont plus présents : la difficulté consiste à créer une image de sorte que la diminution ne soit pas perceptible par l'utilisateur. Il faut donc venir compléter la scène initialement cachée par ces éléments, en effectuant une opération d’inpainting qui prenne en compte la géométrie de la pièce, sa texture (structurée ou non), et la luminosité ambiante de l'environnement. Par exemple, l’oeil humain est sensible à la régularité d'une texture.
L'un des objectifs d'Innersense, entreprise spécialisée dans l'aménagement virtuel d’intérieurs, est de développer un produit capable d'enlever des éléments présents dans une pièce d'intérieur. Une fois la suppression virtuelle des meubles existants effectuée , il sera alors possible d'ajouter des meubles virtuels dans l'espace laissé vacant.
L'objectif de cette thèse CIFRE est donc de mettre en place un scénario de réalité diminuée pouvant être exécuté sur un système mobile (tablette IOS ou Android) qui génère des images photo-réalistes de la scène diminuée. Pour cela, à partir d’un modèle géométrique de la pièce d'intérieur que l'on veut altérer, nous adaptons et améliorons des procédures d'effacement d'éléments d'une image appelées inpainting dans une image 2D. Ensuite, nous appliquons ces techniques dans le contexte 3D intérieur pour tenir compte de la géométrie de la scène. Enfin, nous analysons la luminosité pour augmenter le réalisme des zones complétées.
Dans cette thèse, nous rappelons d'abord les différents travaux académiques et les solutions industrielles existantes. Nous évoquons leurs avantages et leurs limites.Nous abordons ensuite les différentes techniques d'inpainting existantes pour introduire notre première contribution qui propose d'adapter une des méthodes de l’état de l’art pour prendre en compte de la structure du motif de la texture. La problématique de la luminosité est ensuite abordée en proposant un processus qui traite séparément la texture et la variation de la luminosité. Nous présentons ensuite une troisième contribution qui propose un critère de confiance basé sur des considérations radiométriques pour sélectionner une information selon sa qualité dans le processus d'inpainting. Nous proposons une dernière contribution basée sur la complétion de texture de modèles 3D non planaires reconstruits à partir de peu d’images et donc présentant une texture incomplète. Enfin, nous montrons les applications développées grâce à ces travaux dans le contexte des scènes d'intérieur considérées par Innersense. |
In contrast to Augmented Reality, which consists in adding virtual elements to a real environment; Diminished Reality consists in removing real elements from an environment.
By deletion, it is a matter of visually rendering an environment from a point of view where the "deleted" elements are no longer present.
The whole problem is to create a rendering (whether static or real time) so that the diminishing process is not perceptible by the user.
It is therefore necessary to take into account constraints such as the structure of the texture (the user is generally sensitive to the regularity of a texture) or the ambient brightness of the environment.
One of the objectives of Innersense, a company specializing in virtual furniture design, is to develop products that can remove elements from an interior room.
Once deleted, it is then possible to add virtual furniture in the vacant space.
The objective of this CIFRE thesis is therefore to set up a decrease scenario that can be executed on a mobile system (IOS or Android tablet) and to give results acceptable according to the human perception.
To do this, it is necessary to build a geometric model of the interior part that is to be altered.
Then, it is necessary to adapt procedures for erasing elements of an image called inpainting which are mainly 2D techniques to take into account this geometry.
Finally, it is necessary to analyze the variations in light intensity related to the adaptation of the camera's brightness and light sources to adapt the completed areas.
In this thesis, we will first review the different academic works and existing industrial solutions.
We will discuss their advantages and limitations.
We then discuss the different existing painting techniques and a first contribution that proposes to adapt one of the existing methods to take into account the structure of the texture pattern.
The problem of luminosity is then addressed by proposing a process that differentiates the variation in luminosity from the texture itself.
We then discuss a second contribution that concerns a confidence criterion based on radiometric considerations to be able to select information according to its quality in the painting process.
Finally, we will discuss possible applications, particularly in the context of a previously defined indoor environment.
We propose another contribution based on the texture completion of incomplete 3D textured models generated from a few shots.
We finish on the last application of Innersense which integrates the work done during this thesis. |