Conception d'un framework d'évaluation continue et de benchmarking des LLM et des systèmes RAG (LLMOps)

Référence

MC08_2026

Objectif

Concevoir un banc d’évaluation automatisé comparant les LLM et mesurant en continu la qualité des assistants RAG. Travaux : jeux de test en français, anglais et arabe, métriques de fidélité, pertinence, précision, rappel et hallucinations, comparaison des modèles selon qualité, latence et coût, LLM-as-a-judge calibré par annotations humaines, intégration CI/CD et dashboard de suivi.

Profil recherché

Ingénieur en IA, Data Science ou génie logiciel. Maîtrise de Python, bonnes connaissances NLP/LLM et statistiques.

Technologies

Python, Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, GitLab CI/GitHub Actions, Superset ou Grafana. 1 à 2 stagiaires.