Conception d'un framework d'évaluation continue et de benchmarking des LLM et des systèmes RAG (LLMOps)

Référence

MC08_2026

Mission

Concevoir un banc d’évaluation automatisé pour comparer des LLM et mesurer la qualité des assistants RAG : golden datasets en français, anglais et arabe ; métriques de fidélité, pertinence, précision/rappel du retrieval et hallucinations ; comparaison qualité/latence/coût de modèles ; LLM-as-a-judge calibré par annotations humaines ; tests CI/CD contre les régressions ; dashboard de suivi.

Profil et technologies

Ingénieur IA, Data Science ou génie logiciel. Python, NLP/LLM et statistiques. Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, GitLab CI/GitHub Actions, Superset ou Grafana. 1 à 2 stagiaires, durée 6 mois.