Informations générales
Entité de rattachement
Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.
Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.
Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.
Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :
• La conscience des responsabilités
• La coopération
• La curiosité
Référence
2024-31245
Description de la Direction
La direction de la recherche technologique du CEA (DRT), dispose d'un portefeuille de technologies dans les domaines de l'information et de la communication, de l'énergie et de la santé. Interface entre la recherche et l'industrie, nous avons pour mission la maturation et le transfert technologique, en allant de la preuve de concept théorique jusqu'au démonstrateur industriel, pour en faire bénéficier l'industrie. Le CEA List, Laboratoire de recherche spécialisé dans les systèmes numériques intelligents est situé au cœur du pôle scientifique et technologique de Paris-Saclay.
Description de l'unité
Au sein du CEA List, le Laboratoire Intelligence Artificielle Embarquée (LIAE) a pour mission le développement de solutions innovantes pour l'IA embarquée. Il s'agit d'une équipe pluridisciplinaire spécialisée dans l'adéquation algorithme architecture pour l'IA, dont les compétences transverses s'étendent de la maîtrise des applications et algorithmes à leur implémentation embarquée efficace: adaptation algorithmique, conception d'architectures matérielles optimisées et portage sur composants matériels développés au sein même du laboratoire (accélérateurs spécialisés pour ASIC ou FPGA) ou issu
Description du poste
Domaine
Sciences pour l'ingénieur
Contrat
CDD
Intitulé de l'offre
PostDoc: Co-design strategy (SW/HW) to enable a structured spatio-temporal sparsity for Transformer NN
Statut du poste
Cadre
Durée du contrat (en mois)
36
Description de l'offre
Sujet PostDoc en Intelligence Artificielle pour les systèmes embarqués
Stratégie de co-conception pour l'exploitation de la sparsité spatio-temporelle dans les réseaux de neurones Transformer à l'inférence et à l'apprentissage
L'objectif du PostDoc est d'identifier, d'analyser et d'évaluer les mécanismes de gestion de la sparsité spatio-temporelle des fonctions d'activation afin de minimiser la charge de calcul du modèle de réseaux de neurones (apprentissage/inférence). Une approche combinée avec la quantification extrême pourra également être envisagée.
L'objectif est de définir et d'affiner conjointement une stratégie pour évaluer les impacts et les gains potentiels des mécanismes mis en oeuvre sur l'exécution du modèle sous contraintes matérielles. En particulier, cette co-conception devrait également permettre de qualifier et d'exploiter une boucle de rétroaction entre le modèle ciblé et l'instanciation matérielle afin d'obtenir un compromis en terme de compacité/latence.
(see Attached file for English version)
Profil du candidat
Vous êtes titulaire d’un doctorat en IA pour systèmes embarqués avec une expérience en conception de réseau de neurones optimisé ciblant des composants numériques (GPU/FPGA/Asic) avec des contraintes de latence/consommation. Vous êtes curieux et appréciez le travail en équipe tout en faisant preuve d’une bonne autonomie. Intéressé(e) par les problématiques de conception d’inférence de modèle IA et connaissant l’architecture des réseaux Transformers, vous appréhendez parfaitement les techniques de compression de modèle, leur mise en œuvre à l’apprentissage et en partie leur impact sur l’inférence résultante. Vous avez acquis les compétences techniques suivantes :
* Une connaissance des modèles attentionnels (Transformer) pour la vision par ordinateur ;
* Une bonne maîtrise de la conception et/ou déploiement de réseau de neurone mettant en œuvre une ou des techniques dédiées à la compression de modèle (Quantification, Pruning…) ainsi que leur évaluation pour l’inférence.
Expérience et/ou compétences complémentaires souhaitées
* Maîtrise des environnements virtuels (conda, virtualenv…), de librairies de conception de modèles (TensorFlow, PyTorch,Onnx…) ;
* Maîtrise de langages script, de programmation (Python, C/C++) et d’outil de gestion de version (Git) ;
* Une connaissance de la problématique de l’adéquation algorithme architecture et des notions sur les architectures matérielles ciblant le domaine embarqué seraient appréciées.
Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.
Localisation du poste
Site
Saclay
Localisation du poste
France, Ile-de-France, Essonne (91)
Ville
Palaiseau
Demandeur
Disponibilité du poste
06/05/2024