Conception d'un framework d'évaluation continue et de benchmarking des LLM et des systèmes RAG (LLMOps)

Référence

MC08_2026

Projet

Concevoir un banc d'évaluation automatisé comparant les LLM et mesurant la qualité des assistants RAG. Constituer des golden datasets en français, anglais et arabe ; mesurer fidélité, pertinence, précision/rappel du retrieval et hallucinations ; comparer les modèles selon qualité, latence et coût ; intégrer LLM-as-a-judge calibré sur annotations humaines et feedback utilisateur ; intégrer les tests à la CI/CD pour détecter les régressions ; créer un dashboard de suivi.

Profil

Ingénieur en IA, Data Science ou génie logiciel. Maîtrise de Python, bonnes connaissances NLP/LLM et statistiques.

Technologies

Python, Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, GitLab CI/GitHub Actions, Superset ou Grafana. 1 à 2 stagiaires.