Assistant Data Scientist - Routage intelligent des prompts

Contexte et objectif

Dans le cadre de la transformation numérique du Groupe Crédit Agricole, l'optimisation de l'usage des grands modèles de langage (LLM) constitue un enjeu stratégique en matière de performance, de maîtrise des coûts et de temps de réponse.

Le stage consiste à développer une solution de routage intelligent des prompts capable d'orienter automatiquement chaque requête utilisateur vers le modèle le plus approprié selon sa complexité, ainsi que les outils nécessaires à son implémentation et à son évaluation.

Missions principales

• Analyser et classifier la complexité des requêtes pour les cas d'usage bancaires : longueur, ambiguïté, expertise requise et raisonnement multi-étapes.
• Concevoir un framework de classification et développer des jeux de tests représentatifs couvrant différents niveaux de difficulté et domaines métiers.
• Comparer les approches de routage, notamment les solutions managées existantes, les classifieurs légers, les approches par embedding et les méthodes hybrides.
• Analyser les compromis entre performance, coût, latence et maintenabilité dans le contexte opérationnel du Groupe.
• Proposer une architecture de routage intégrable dans l'infrastructure existante.
• Définir des métriques de performance et des seuils d'optimisation coût/qualité.
• Développer un prototype fonctionnel et rédiger des recommandations pour le déploiement en production et la gouvernance du système de routage.

Organisation et environnement

Le stage se déroule au sein d'une squad pluridisciplinaire, sous l'encadrement d'experts IA et avec un chef de projet IA comme référent fonctionnel, selon la méthode Projet du DataLab Groupe, certifiée en IA de confiance et labélisée RSE.

Les principales étapes comprennent une veille bibliographique, la sélection et l'implémentation des approches adaptées, une étude comparative sur des données internes et externes, l'intégration des développements dans les produits et, si les travaux aboutissent à de nouvelles approches performantes, une éventuelle publication scientifique.

Le stagiaire aura accès à des environnements d'engineering industriel en local et dans le cloud. Les modèles seront évalués sur des données internes et externes open-data, puis intégrés dans les produits et services IA en production. Des interactions auront lieu avec les équipes data science, engineering et les experts métier du Groupe.

Localisation

Montrouge, France.