Contexte du stage
Le développement de robots autonomes, qu’il s’agisse de robots terrestres comme volants, nécessite la mise en place d’intelligences artificielles (IA) capables d’interpréter l’environnement observé par ce dernier. Pour pouvoir raisonner au-delà du seul environnement observable par ses capteurs à l’instant courant, le robot doit construire une carte 3D l’environnement qu’il a observé au cours de ses déplacements et disposer de moyens pour interpréter cette carte 3D.
Actuellement, les nuages de points 3D correspondent à la représentation 3D la plus utilisée pour cette tâche, et de nombreuses solutions de Deep Learning ont été proposées pour leur interprétation. Plus récemment, des représentation 3D exploitant des réseaux de neurones ont été introduites [1,2]. Ces représentations, généralement désignées sous le terme de Neural Fields, ont démontré des bonnes performances en terme de reconstruction, mais très peu de travaux ont investigué la manière d’interpréter directement ces représentations à l’aide d’un réseau de neurones.
[1]: Representing Scenes as Neural Radiance Fields for View Synthesis, Ben Mildenhall and Pratul P. Srinivasan and Matthew Tancik and Jonathan T. Barron and Ravi Ramamoorthi and Ren N, 2020, ECCV
[2] Müller, T., Evans, A., Schied, C., & Keller, A. (2022). Instant neural graphics primitives with a multiresolution hash encoding. ACM Transactions on Graphics (ToG), 41(4), 1-15.
Objectifs du stage
Ce stage a pour objectif de proposer une solution d’interprétation par réseaux de neurones de scènes 3D représentées sous forme de Neural Fields.
Le stage aura pour objectifs de :
- Etudier l’usage des architectures classiques (CNN, Transformers…) dans le cadre de l’interprétation de Neural Fields
- Etudier le co-design d’une représentation Neural Fields et de sa méthode d’interprétation afin d’obtenir le meilleur compromis qualité de reconstruction 3D/qualité d’interprétation possible.
- Evaluer les performances de la méthode proposée
Compétences souhaitées

Ce stage permettra à l’étudiant de découvrir d’une part le domaine extrêmement dynamique des représentations 3D neurales, et d’autre part celui de l’interprétation de scène 3D.

Le candidat devra disposer d’une bonne maîtrise de python et d’une forte connaissance en réseau de neurones. Une expérience sur Pytorch sera appréciée.

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.