Bienvenue aux Mines Paristech
Bienvenue à MINES ParisTech
Newsletter International
Website
Théorie & Pratique
Vous êtes

webTV

Lecture

Séminaire PSL - Écosystèmes de médias I Session 4 Partie 4

Lecture

Séminaire PSL - Écosystèmes de médias I Session 4 Partie 2

Lecture

Séminaire PSL - Écosystèmes de médias I Session 4 Partie 3

Lecture

Séminaire PSL - Écosystèmes de médias I Session 4 Partie 1

Lecture

Lancement de la Chaire DEEP unissant HUTCHINSON, l'ESPCI et MINES ParisTech

+ Toutes les vidéos

Partager

Simulation de capteurs dans des nuages de points, Rendu photo-réaliste de scène par rendu hybride de rasterisation et raytracing dans des nuages de points 3D

Simulation de capteurs dans des nuages de points, Rendu photo-réaliste de scène par rendu hybride de rasterisation et raytracing dans des nuages de points 3D

Simulation of sensors in point clouds, Photo-realistic rendering of scene by hybrid rendering of rasterization and raytracing in 3D point clouds

Proposition de thèse

Spécialité

Informatique temps réel, robotique et automatique - Paris

Ecole doctorale

SMI - Sciences des Métiers de l'Ingénieur

Directeur de thèse

GOULETTE François

Co-directeur de thèse

DESCHAUD Jean-Emmanuel

Unité de recherche

Mathématiques et Systèmes

ContactJean-Emmanuel Deschaud
Date de validité

01/10/2018

Site Web
Mots-clés

LiDAR, rendu, système mobile de cartographie, photo-réaliste, lancé de rayon, GPU

LiDAR, rendering, mobile mapping, photo-realistic, raytracing, GPU

Résumé

Cette thèse CIFRE est en lien avec un projet qui a pour objectif de produire de manière automatique des bases de données 3D et une capacité de simulation photo-réaliste d'environnements pour la validation de véhicules autonomes.
L'idée est de simuler de manière réaliste un ensemble de capteurs (caméra, lidar, radar) à partir d'une scène 3D entièrement construite de manière automatique à partir de nuages de points 3D et d'images. Une étape de classification des éléments de la scène et de distinction des matériaux sera le travail d'une autre thèse en amont.
Les logiciels de rendu temps-réel et de réalité virtuelle d'OPTIS sont déjà capables de charger et d'afficher un nuage de points avec des informations de colorimétrie en maintenant une fréquence d'affichage supérieure à 20 images par seconde pour un nombre de point atteignant les 300 millions dans une simulation.
Une première étape sera de charger un ensemble de données encore plus grand, contenant en plus les normales et une information de matériau en chaque point permettant la ré-illumination de la scène. En effet, avec la normale et une information même basique sur la réflectance bidirectionnelle des matériaux, il sera possible de modifier les couleurs qui ont été capturées lors de l'acquisition et de les faire évoluer avec le déplacement des sources lumineuses ou des capteurs dans la simulation.
Une seconde étape consistera à adapter le principe de lancer de rayons sur nuages de points. Pour diminuer le temps de calcul et atteindre le temps réel, une solution consistera à utiliser des processeurs graphiques (GPU) au lieu des processeurs classiques (CPU) afin de bénéficier de leur capacité de traitement massivement parallèle.
Enfin, OPTIS a déjà une expertise dans le domaine de la simulation de capteurs pour véhicules. Toutefois, ces capteurs n'ont pas été conçus pour effectuer des simulations sur des environnements réalistes et bruités comme des nuages de points. Un travail de recherche et développement est nécessaire pour adapter les capteurs simulés existants à ces nouveaux environnements et nouvelles techniques de simulation.

This CIFRE thesis is related to a project that aims to automatically produce 3D databases and a photo-realistic simulation capability of environments for the validation of autonomous vehicles.
The idea is to realistically simulate a set of sensors (camera, lidar, radar) from a 3D scene built entirely automatically from 3D point clouds and images. A stage of classification of the elements of the scene and of distinction of the materials will be the work of another thesis upstream.
OPTIS real-time rendering and virtual reality software are already able to load and display a scatter plot with colorimetric information by maintaining a display rate of more than 20 frames per second for a number of points reaching 300 million in a simulation.
A first step will be to load an even larger dataset, containing in addition the normals and material information at each point allowing re-illumination of the scene. Indeed, with the normal and even basic information on the bidirectional reflectance of the materials, it will be possible to modify the colors that were captured during the acquisition and to make them evolve with the displacement of the light sources or the sensors in the simulation.
A second step will be to adapt the principle of ray tracing on points clouds. To reduce computing time and achieve real-time, one solution will be to use graphics processors (GPUs) instead of conventional processors (CPUs) to take advantage of their massively parallel processing capability.
Finally, OPTIS already has expertise in the field of sensor simulation for vehicles. However, these sensors have not been designed to perform simulations on realistic and noisy environments such as point clouds. Research and development work is needed to adapt existing simulated sensors to these new environments and new simulation techniques.

Contexte

Projet FUI REPLICA sur la simulation massive de capteurs en environnement réaliste pour la validation des systèmes autonomes

Encadrement

Encadrement thèse CIFRE, 50% MINES ParisTech, 50% entreprise OPTIS. Modalités de localisation du bureau à définir avec le candidat, MINES ParisTech et OPTIS.

Profil candidat

Profil général :
- Niveau Master 2
- Bon relationnel, rigueur et autonomie
- Qualités de rédaction et de présentation à l'oral
- Anglais parlé et écrit.
- (Pour étrangers) Français parlé et écrit.

Connaissances scientifiques et technologiques utilisées :
- Programmation GPU
- Synthèse d'images
- Traitement de données 3D
- Traitement d'images

Les développements informatiques se feront sur PC sous Windows ou Linux en C++

General profile:
- Master level 2
- Good interpersonal skills, rigor and autonomy
- Writing and oral presentation skills
- English spoken and written.
- (For foreigners) French spoken and written.

Scientific and technological knowledge used:
- GPU Programming
- Computer Graphics
- 3D data processing
- Image processing

Sotware Developments will be on a PC running Windows or Linux in C ++

Références

[BOUCHIBA17] Hassan Bouchiba, Raphael Groscot, Jean-Emmanuel Deschaud, François Goulette, High Quality and Efficient Direct Rendering of Massive Real-world Point Clouds, Eurographics 2017.
[GOULETTE06] François Goulette, Fawzi Nashashibi, Samer Ammoun, Claude Laurgeau, An integrated on-board laser range sensing system for On-the-Way City and Road Modelling, ISPRS International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006.
[LINSEN07] Lars Linsen, Karsten Muller, Paul Rosenthal, Splat-based Ray Tracing of Point Clouds, Journal of WSCG, 2007.

Type financement

Convention CIFRE

Document PDF

https://www.adum.fr/script/downloadfile.pl?type=78&ID=22085

Retour à la liste des propositions

actualité

Vladislav Yastrebov, Médaille de bronze CNRS 2018

Formation Vladislav Yastrebov, Médaille de bronze CNRS 2018 " La médaille de bronze récompense un premier travail…
> En savoir +

Plenesys, spin-off de l'École, Grand prix i-Lab 2018

Formation Plenesys, spin-off de l'École, Grand prix i-Lab… Belle reconnaissance pour la recherche conduite au sein du…
> En savoir +

Marguerite Champion galope vers la victoire

Formation Marguerite Champion galope vers la victoire Marguerite Champion, discrète élève ingénieure de 1 re année,…
> En savoir +

Le Rapport d'activité 2017 est en ligne

Formation Le Rapport d'activité 2017 est en ligne « L'ambition de MINES ParisTech : former des…
> En savoir +

Pluie de récompenses pour le CGS

Formation Pluie de récompenses pour le CGS La FNEGE, qui célèbre cette année ses 50 ans, organise la…
> En savoir +

+ Toutes les actualités

agenda

Du 5 juin au 3 août 2018 Boganium, Handwavium et les autres

Le 11 septembre 2018 10 e anniversaire de la Chaire "Modélisation…

Du 18 septembre au 14 décembre 2018 Musique aux Mines 2018

Du 5 juin au 3 août 2018 Boganium, Handwavium et les autres

Le 11 septembre 2018 10 e anniversaire de la Chaire "Modélisation…

Du 18 septembre au 14 décembre 2018 Musique aux Mines 2018

+ Tous les événements

contact

Régine MOLINS
Direction de l'Enseignement
Service du Doctorat
> envoyer un mail

Plan du site
MINES
ParisTech

60, Boulevard Saint-Michel
75272 PARIS Cedex 06
Tél. : +33 1 40 51 90 00

Implantations
Formation
Mentions légales | efil.fr | ©2012 MINES ParisTech | +33 1 40 51 90 00 |