Informations générales
Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
2024-33270
Description de l'unité
Le Commissariat à l'Energie Atomique et aux Energies Alternatives (CEA) est un acteur majeur en matière de recherche, de développement et d'innovation. Cet organisme de recherche technologique intervient dans trois grands domaines : l'énergie, les technologies pour l'information et la santé et la défense. Reconnu comme un expert dans ses domaines de compétences, le CEA est pleinement inséré dans l'espace européen de la recherche et exerce une présence croissante au niveau international. Situé en île de France sud (Saclay), le Laboratoire d'Intégration des Systèmes et des Technologies (LIST) a notamment pour mission de contribuer au transfert de technologies et de favoriser l'innovation dans le domaine des systèmes embarqués. Au sein du LIST, le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions optimisées (surface, consommation, puissance de calcul) pour les systèmes embarqués.
Description du poste
Domaine
Autre
Contrat
Stage
Intitulé de l'offre
Exploitation de la sparsité pour la réduction de la taille de modèle des réseaux ViT
Sujet de stage
Exploitation de sparsité par compression de matrice sur des modèles Transformer
Durée du contrat (en mois)
6
Description de l'offre
Les modèles Transformers (ViT [1]/LLM) ont connu un essor considérable ces deux dernières années avec des performances très élevées, Cependant, ils demeurent des modèles relativement complexes, et leur déploiement dans le domaine de l’embarqué fait face à plusieurs défis. Dans le cadre de ses activités sur la compression de modèle de réseaux de neurones en vue de les implémenter sous forme d’inférence légère, le LIAE s’intéresse à l’exploitation de la sparsité [2]. Il s’agit de tirer parti du nombre de « zéro » présents dans des matrices/tenseurs d’activations et/ou de poids pour réduire la taille de la mémoire requise et le nombre d’opérations induites.
Dans ce contexte, l’objectif de ce stage est d’identifier et de mettre en place des techniques d’organisation de la sparsité (semi-structuré/structuré) dans un réseau ViT. Dans ce contexte, les principales missions du candidat seront les suivantes:
- Déployer un réseau ViT existant comme base de référence
- Identifier et analyser les mécanismes de création ou d'augmentation de la sparsité,
- Identifier et analyser les mécanismes de réorganisation des matrices (stockage mémoire efficace), en particulier autour des fonctions d’activations, pouvant s’appliquer à ce modèle.
- Mettre en place des solutions et caractériser les gains et/ou des pertes observées en terme de taille et de performance.
- Proposer dans la mesure du possible de piste d’implémentation d’un support matériel pour une implémentation embarquée.
Une bonne expérience avec Pytorch et cibles embarquées serait appréciée.
[1] https://arxiv.org/abs/2304.07193
[2] https://www.mdpi.com/2301878
Moyens / Méthodes / Logiciels
Moyens : Linux, Versionnage Git, PC/GPU, IDE
Profil du candidat
Niveau demandé : diplôme master (BAC+5)
Compétences : Système embarqué, IA, Python, traitement d’image, Pytorch
Pièces à fournir : CV + lettre de motivation + relevés de notes des 3 dernières années
Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
Critères candidat
Diplôme préparé
Bac+5 - Diplôme École d'ingénieurs
Demandeur
Disponibilité du poste
03/02/2025
Je me crée un espace candidat
