Inférence embarquée d'un nouveau modèle d'IA pour la vision, le Vision Mamba

Détail de l'offre

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité
  

Référence

2024-32988  

Description de l'unité

Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.

Description du poste

Domaine

Autre

Contrat

Stage

Intitulé de l'offre

Inférence embarquée d'un nouveau modèle d'IA pour la vision, le Vision Mamba

Sujet de stage

Analyse et caractérisation du modèle Vision Mamba (mémoire, puissance de calcul, quantification) pour une inférence embarquée.

Durée du contrat (en mois)

6 mois

Description de l'offre

Dans le cadre de son activité de conception de solution matérielle embarquée pour l’inférence de modèles IA, le LIAE s’intéresse notamment aux topologies des réseaux de neurones exploitées dans les modèles de fondation vision pour les applications de perception. Alors que les modèles de fondation vision à base de Transformers ont connu un essor considérable ces deux dernières années avec des performances très élevées [1], un nouveau modèle prometteur de type SSM (State Space Model), Vision Mamba [2], a été tout récemment proposé dans l’état de l’art comme alternative aux modèles Transformers.

Aussi, bien que présenté comme moins complexe (en calcul et en mémoire) pour de grandes résolution d’images, la question du déploiement de ce modèle dans le domaine de l’embarqué se pose.

L’objectif de ce stage est donc d’évaluer les propriétés d’embarquabilité du Vision Mamba aussi bien sur les aspects matériels (besoin en mémoire, complexité de calcul...) que sur les aspects applicatifs (robustesse à la quantification).

Dans ce contexte, vous serez intégré à une équipe projet maitrisant une méthodologie d’analyse visant l’accélération matérielle de réseaux de neurones pour des applications de perception.

Vos principales missions seront :

-      Identifier les verrous et contraintes de la topologie du modèle Vision Mamba pour une inférence matérielle sur une cible embarquée à ressources contraintes. Au-delà de l’étude « théorique » du modèle, il pourra être nécessaire de le mettre en œuvre sur cible PC (CPU+GPU) afin d’en faire une analyse détaillée (contraintes mémoire, complexité calculatoire…).

-      Identifier et analyser les mécanismes de compression, en particulier la quantification, pouvant s’appliquer à ce modèle.

-      Développer un modèle permettant d’estimer l’impact de la quantification de certaines parties du réseau sur les performances applicatives et sur l’embarquabilité du modèle.

-      Le candidat pourra également être amené à proposer des solutions matérielles (conception d’un opérateur par exemple) pour le support efficace du modèle embarqué.

 

Pour mener à bien votre mission, vous bénéficierez au CEA LIST d’un environnement de premier plan avec notamment l’accès aux outils de simulation de modélisation et d’exploration du laboratoire.

Vous intégrerez également une équipe dynamique, au cœur de l’écosystème IA en France, qui a noué des liens privilégiés avec les principaux acteurs industriels et académiques du domaine.

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.

 

[1] https://arxiv.org/abs/2304.07193

[2] https://arxiv.org/abs/2401.09417

Moyens / Méthodes / Logiciels

Linux, PyTorch, Versionnage Git, PC/GPU

Profil du candidat

Niveau demandé : diplôme master (BAC+5)

Compétences : Système embarqué, IA, électronique numérique, Python, traitement d’image, VHDL

Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années

Localisation du poste

Site

Saclay

Localisation du poste

France, Ile-de-France, Essonne (91)

Ville

  Palaiseau

Critères candidat

Diplôme préparé

Bac+5 - Diplôme École d'ingénieurs

Demandeur

Disponibilité du poste

01/01/2025