PFE 2027 — MC08_2026 — Conception d'un framework d'évaluation continue et de benchmarking des LLM et des systèmes RAG (LLMOps)

Objectif: concevoir un banc d’évaluation automatisé pour comparer des LLM et mesurer en continu la qualité des assistants RAG.

Fonctionnalités:

• Constitution de jeux de test (golden datasets) FR/EN/AR à partir de documents métier.
• Mesure des métriques RAG: fidélité, pertinence, précision/rappel du retrieval, détection des hallucinations.
• Comparaison de modèles (Llama, Mistral, Qwen, GPT, Claude…) par cas d’usage: qualité, latence, coût.
• Évaluation via LLM-as-a-judge, calibrée sur annotations humaines et feedback utilisateurs.
• Tests automatisés intégrés à la CI/CD pour détecter les régressions (modèle, prompt, paramètres RAG).
• Dashboard de suivi qualité dans le temps.

Profil recherché: Ingénieur IA/Data Science/génie logiciel; Python; bonnes connaissances NLP/LLM et statistiques.

Technologies: Python, Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, CI (GitLab CI/GitHub Actions), Superset ou Grafana.

Stagiaires: 1 à 2. Durée: 6 mois.

Candidature: joindre votre CV et indiquer la référence du sujet. Maximum 2 références par étudiant.

Candidature

Envoyez votre CV à pfe@wevioo.com en indiquant la référence MC08_2026 dans l'objet du mail. Chaque étudiant peut choisir 2 références maximum ; toute référence supplémentaire entraîne la disqualification de la candidature.

Source

PFE Book Wevioo 2026–2027