Informations générales
Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
2024-33674
Description de l'unité
Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (vitesse, efficience, consommation, puissance de calcul) pour les systèmes embarqués.
Dans le cadre de ses activités activité le LIAE s'intéresse aux topologies des réseaux de neurones exploitées pour les applications de perception.
Description du poste
Domaine
Sciences pour l'ingénieur
Contrat
Stage
Intitulé de l'offre
Méthodes avancées pour l'optimisation des réseaux neuronaux Transformers H/F
Sujet de stage
L'objectif de ce stage est d'identifier ou de concevoir des méthodes avancées d'optimisation des modèles neuronaux du type Vision Transformers, en tenant en compte des contraintes inhérentes aux environnements embarqués.
Durée du contrat (en mois)
6 mois
Description de l'offre
Récemment, les modèles de type Vision Transformer (ViT) [1] ont été introduits. Ces modèles appartiennent à une catégorie plus large de modèles de fondation (foundation models), qui désignent des architectures d'apprentissage profond pré-entraînées sur de vastes volumes de données et capables de s'adapter à une large gamme de tâches en aval avec un fine-tuning minimal. Ils présentent des performances très élevées ainsi que des propriétés particulièrement intéressantes pour l’apprentissage et leur mise en œuvre, notamment dans le domaine vision. Malgré toutes ces caractéristiques innovantes, la question de l’optimisation et du déploiement de ce modèle dans le domaine de l’embarqué, où les ressources de calcul et la mémoire sont limitées, reste ouverte.
L’objectif de ce stage est donc d'identifier ou de concevoir des méthodes avancées d'optimisation de ces modèles, en tenant en compte des contraintes inhérentes aux environnements embarqués. Cela pourrait inclure la réduction de la complexité algorithmique par exemple en remplaçant des opérations quadratiques couteuses par des alternatives linéaires [2] ou en optimisant la complexité du calcul en substituant certaines opérations telles que la multiplication par des méthodes moins gourmandes [3]. En plus de ces optimisations structurelles, le stage vise à évaluer la compatibilité de ces améliorations avec le matériel embarqué, en tenant en compte de divers paramètres tels que les besoins en mémoire, la complexité de calcul, la consommation énergétique ainsi que les contraintes de latence. L'un des principaux enjeux est de s'assurer que les modèles optimisés peuvent s'exécuter efficacement sur des architectures matérielles spécifiques tout en préservant une précision et une robustesse suffisantes.
Dans ce contexte, vous rejoindrez une équipe projet spécialisée dans analyse et l’optimisation matérielle de réseaux neuronaux, avec pour objectif d'accélérer leur déploiement pour des applications de perception.
Vos principales missions seront :
· Mettre en œuvre le modèle du ViT sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée des aspects tels que la hiérarchie mémoire, la complexité calculatoire, la vitesse d’exécution, la précision ;
· Identifier les limitations et les contraintes spécifiques du modèle pour l’inférence matérielle sur des plateformes embarquées à ressources contraintes ;
· Identifier et analyser les mécanismes d’optimisation applicables aux différentes couches du modèle, notamment la linéarisation et le remplacement d'opérateurs ;
· Optionnellement, si le temps et les résultats le permettent, déployer le modèle optimisé sur un processeur embarqué (p.ex. NVIDIA Orin, Raspberry Pi, STM32) en veillant à ce qu’il soit compatible avec les ressources disponibles.
Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années
Moyens / Méthodes / Logiciels
Linux / Windows, Python / C++, Server + NVIDIA GPU A100
Profil du candidat
Le candidat doit être motivé, curieux, intéressé par la recherche sur les réseaux neuronaux et l'IA, et disponible de s'intégrer et de collaborer avec ses collègues.
Compétences requises: Connaissance de programmation d'un bon niveau de Python et/ou C++; un peu d'expériences avec Pytorch et les réseaux neuronaux.
Compétences en plus : Connaissance des méthodes pour le traitement d’image, d’optimisation et du matériel embarqué.
Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau ( 91120)
Critères candidat
Langues
- Français (Courant)
- Anglais (Intermédiaire)
Diplôme préparé
Bac+5 - Diplôme École d'ingénieurs
Possibilité de poursuite en thèse
Non
Demandeur
Disponibilité du poste
15/01/2025