
WEVIOO
TunisiaPublished: 12 Nov 2026
Conception d'un framework d'évaluation continue et de benchmarking des LLM et des systèmes RAG (LLMOps)
- Internship
- 4-6 months
- Hybrid
- Deadline: 26 Nov 2026
- LLMOps
- Food & Beverage
- Artificial intelligence and technology transformation
- Impact Evaluation
Job description
Référence
MC08_2026
Objectif
Créer un banc d'évaluation automatisé de LLM et assistants RAG : golden datasets en français, anglais et arabe, métriques de fidélité, pertinence, précision, rappel et hallucinations, comparaison des modèles selon qualité, latence et coût, LLM-as-a-judge calibré par annotations humaines, feedback utilisateur, tests CI/CD anti-régression et dashboard qualité.
Profil et technologies
Ingénieur IA, Data Science ou génie logiciel. Python, NLP/LLM et statistiques. Ragas/DeepEval, Langfuse, LangChain/LangGraph, Qdrant, Ollama/vLLM, MLflow, GitLab CI/GitHub Actions, Superset ou Grafana.