Conception d'un framework d'évaluation continue et de benchmarking des LLM et systèmes RAG

Référence

MC08_2026

Mission

Concevoir un banc automatisé comparant des LLM et mesurant en continu la qualité des assistants RAG. Travaux : jeux de données français, anglais et arabe, métriques de fidélité, pertinence, précision/rappel et hallucinations, comparaison qualité/latence/coût de modèles, LLM-as-a-judge calibré par annotations humaines, feedback utilisateur, tests CI/CD de non-régression et dashboard de qualité.

Profil et technologies

Ingénieur IA, Data Science ou génie logiciel. Python, NLP/LLM et statistiques. Technologies : Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, GitLab CI/GitHub Actions, Superset/Grafana. 1 à 2 stagiaires, durée 6 mois.