Stage - Industrialisation des essais d'évaluation des LLM

Contexte

Le département Évaluation de l’IA du LNE est spécialisé dans l’évaluation et la qualification des systèmes d’intelligence artificielle. Il développe des méthodes d’essai, met en œuvre des campagnes d’évaluation et accompagne des acteurs publics et privés sur des problématiques de performance, de robustesse, de sécurité et de conformité des systèmes d’IA.

Une partie importante de ses activités concerne aujourd’hui les modèles de langage et les systèmes d’IA générative. Les équipes interviennent à la fois dans le cadre de prestations pour des clients, de projets de recherche nationaux et européens, et de travaux de développement méthodologique.

Ces travaux font apparaître des besoins récurrents pour la préparation des essais : génération de données et de bases de prompts, automatisation de certaines évaluations, utilisation de modèles comme évaluateurs. Ces briques sont encore souvent construites au cas par cas. Le stage vise à structurer des méthodes et outils réutilisables à partir des besoins déjà rencontrés par le département dans ses différentes activités.

Missions

À partir de cas d’usage issus des activités du département, le ou la stagiaire travaillera sur deux volets :

• Génération de données et de bases de prompts : étudier des approches permettant de produire ou enrichir des jeux d’essai à partir de cas d’usage existants, par exemple par génération de variantes de prompts, reformulation, diversification contrôlée ou création de cas à partir de critères définis. L’objectif sera de définir une méthode réutilisable et l’outillage associé.

• LLM-as-a-judge : étudier et tester l’utilisation de modèles de langage pour automatiser certaines évaluations, à partir de critères et grilles définis par les équipes. Les travaux pourront notamment porter sur la formulation des consignes d’évaluation, la comparaison des résultats avec une évaluation humaine de référence et l’analyse de la stabilité des jugements obtenus.

Pour chacun de ces volets, le stage visera d’abord à formaliser une méthode et les spécifications associées, puis à mettre en œuvre une ou plusieurs preuves de concept sur des cas concrets du département. Selon l’avancement des travaux, le ou la stagiaire pourra également contribuer au développement de briques logicielles réutilisables pour outiller ces méthodes.

Profil

Vous souhaitez réaliser un stage dans le cadre de votre dernière année d’école d’ingénieur ou de votre Master 2 en informatique, intelligence artificielle, data science et/ou traitement automatique des langues.

Vous avez une bonne maîtrise de Python et des principaux outils utilisés en IA/machine learning. Vous avez également une connaissance des modèles de langage et de l’IA générative.

Vous manifestez un intérêt pour l’évaluation des systèmes d’IA, la conception de protocoles expérimentaux et l’automatisation des essais.

Vous êtes en capacité d’analyser des travaux existants, de proposer une méthode, de la mettre en œuvre et d’en évaluer les limites.

Vous êtes reconnu(e) pour votre rigueur, votre autonomie et votre capacité à documenter les travaux réalisés.