Génération de prompts basée sur des modèles

Le framework EMF (Eclipse Modeling Framework) [1] est le framework de facto utilisé pour l'ingénierie des systèmes basée sur des modèles (MDSE - Model Based System Engineering) dans l'IDE Eclipse. Les (méta)modèles sont sérialisés en XMI et manipulés via une API Java. Un cas d'utilisation important d'EMF est la définition de langages spécifiques à un domaine (DSL - Domain Specific Languages), qui peuvent être interprétés ou compilés vers un langage cible. Un DSL permet aux experts de se concentrer sur les aspects spécifiques d’un domaine donné.

La création de modèles de domaine, même en utilisant des langages spécifiques au domaine (DSLs), reste une tâche difficile. Les LLMs (Large Language Models) peuvent assister de différentes manières, telles que la complétion de modèles [3], l’interrogation [2] ou le refactoring. L’interaction avec les LLMs se fait via des prompts, et une approche courante consiste à fournir les sources des modèles de domaine dans un format textuel [2], tel que XMI, PlantUML ou d’autres DSLs. Cependant, les formats d’entrée les plus adaptés doivent être étudiés pour obtenir de meilleurs résultats avec les LLMs. L’utilisation de formats basés sur des graphes [4] pourrait être une alternative pour encoder des modèles de domaine, bien que cette approche nécessite une exploration plus approfondie.

Ce stage a pour objectif de définir un générateur de prompts prenant un modèle spécifique à un domaine en entrée et produisant un prompt basé sur des graphes pour une utilisation avec des LLMs. Pour cela, le stagiaire réalisera un état de l’art des solutions d’encodage basées sur des modèles et des graphes pour l'ingénierie des prompts. Les approches décrites dans [4] et [3] serviront de points de départ. Un sous-ensemble de ces approches sera sélectionné pour une implémentation, suivi d'une étude comparative pour identifier la solution la plus adaptée.

Les activités du stage incluent :

• Réaliser un rapport d’état de l’art sur l’ingénierie des prompts basée sur des modèles et sur des graphes.
• Choisir et implémenter trois solutions pour l’ingénierie des prompts basées sur des modèles.
• Comparer les solutions implémentées.
• Rédiger un rapport de stage.

Durée : 6 mois.

Références :

[1] EMF – Eclipse Modeling Framework
[2] R. Clarisó and J. Cabot, "Model-Driven Prompt Engineering," 2023 ACM/IEEE 26th (MODELS),  2023, pp. 47-54
[3] Beian Wang and Chong Wang and Peng Liang and Bing Li and Cheng Zeng, How LLMs Aid in UML Modeling: An Exploratory Study with Novice Analysts, arXiv:2404.17739, 2024
[4] Bahare Fatemi and Jonathan Halcrow and Bryan Perozzi,Talk like a Graph: Encoding Graphs for Large Language Models

Qu’attendons-nous de vous ?

• Le stagiaire doit être intéressé par la modélisation logicielle, les LLMs et l'ingénierie des prompts.
• Connaissance et personnalisation des LLMs.
• Des connaissances en Java et Eclipse sont appréciées.
• Niveau Master 2 ou dernière année d'école d'ingénieur.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Vous avez encore un doute ? Nous vous proposons :

• L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
• Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
• Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
• Des moyens expérimentaux exceptionnels et un encadrement de qualité,
• De réelles opportunités de carrière à l’issue de votre stage
• Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,
• Une participation aux transports en commun à hauteur de 85%,
• Un équilibre vie privée – vie professionnelle reconnu,
• Un restaurant d'entreprise,
• Une politique diversité et inclusion,

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l’inclusion des travailleurs handicapés.