Conception d'un framework d'évaluation continue et de benchmarking des LLM et des systèmes RAG (LLMOps)

Référence

MC08_2026

Projet

Concevoir un banc d’évaluation automatisé comparant des LLM et mesurant en continu la qualité des réponses RAG. Les travaux comprennent la constitution de jeux de test en français, anglais et arabe, la mesure de la fidélité, pertinence, précision, rappel et hallucinations, la comparaison de modèles selon qualité, latence et coût, l’évaluation LLM-as-a-judge calibrée par annotations humaines, l’intégration de tests dans la CI/CD et un dashboard de suivi.

Profil recherché

Ingénieur en IA, Data Science ou génie logiciel. Maîtrise de Python et bonnes connaissances en NLP/LLM et statistiques.

Technologies

Python, Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, GitLab CI/GitHub Actions, Superset ou Grafana. 1 à 2 stagiaires. Durée indiquée : 6 mois.