Informations générales
Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
2024-32988
Description de l'unité
Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.
Description du poste
Domaine
Autre
Contrat
Stage
Intitulé de l'offre
Inférence embarquée d'un nouveau modèle d'IA pour la vision, le Vision Mamba
Sujet de stage
Analyse et caractérisation du modèle Vision Mamba (mémoire, puissance de calcul, quantification) pour une inférence embarquée.
Durée du contrat (en mois)
6 mois
Description de l'offre
Dans le cadre de son activité de conception de solution matérielle embarquée pour l’inférence de modèles IA, le LIAE s’intéresse notamment aux topologies des réseaux de neurones exploitées dans les modèles de fondation vision pour les applications de perception. Alors que les modèles de fondation vision à base de Transformers ont connu un essor considérable ces deux dernières années avec des performances très élevées [1], un nouveau modèle prometteur de type SSM (State Space Model), Vision Mamba [2], a été tout récemment proposé dans l’état de l’art comme alternative aux modèles Transformers.
Aussi, bien que présenté comme moins complexe (en calcul et en mémoire) pour de grandes résolution d’images, la question du déploiement de ce modèle dans le domaine de l’embarqué se pose.
L’objectif de ce stage est donc d’évaluer les propriétés d’embarquabilité du Vision Mamba aussi bien sur les aspects matériels (besoin en mémoire, complexité de calcul...) que sur les aspects applicatifs (robustesse à la quantification).
Dans ce contexte, vous serez intégré à une équipe projet maitrisant une méthodologie d’analyse visant l’accélération matérielle de réseaux de neurones pour des applications de perception.
Vos principales missions seront :
- Identifier les verrous et contraintes de la topologie du modèle Vision Mamba pour une inférence matérielle sur une cible embarquée à ressources contraintes. Au-delà de l’étude « théorique » du modèle, il pourra être nécessaire de le mettre en œuvre sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée (contraintes mémoire, complexité calculatoire…).
- Identifier et analyser les mécanismes de compression, en particulier la quantification, pouvant s’appliquer à ce modèle.
- Développer un modèle permettant d’estimer l’impact de la quantification de certaines parties du réseau sur les performances applicatives et sur l’embarquabilité du modèle.
- Le candidat pourra également être amené à proposer des solutions matérielles (conception d’un opérateur par exemple) pour le support efficace du modèle embarqué.
Pour mener à bien votre mission, vous bénéficierez au CEA LIST d’un environnement de premier plan avec notamment l’accès aux outils de simulation de modélisation et d’exploration du laboratoire.
Vous intégrerez également une équipe dynamique, au cœur de l’écosystème IA en France, qui a noué des liens privilégiés avec les principaux acteurs industriels et académiques du domaine.
Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
[1] https://arxiv.org/abs/2304.07193
[2] https://arxiv.org/abs/2401.09417
Moyens / Méthodes / Logiciels
Linux, PyTorch, Versionnage Git, PC/GPU
Profil du candidat
Niveau demandé : diplôme master (BAC+5)
Compétences : Système embarqué, IA, électronique numérique, Python, traitement d’image, VHDL
Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
Critères candidat
Diplôme préparé
Bac+5 - Diplôme École d'ingénieurs
Demandeur
Disponibilité du poste
01/01/2025