
WEVIOO
TunisiePublication : 12 nov. 2026
Mise en place d'une passerelle LLM avec routage intelligent des requêtes et pilotage des coûts d'inférence
- Stage
- 4-6 mois
- Hybride
- Échéance : 26 nov. 2026
- LiteLLM
- Software engineering
- DevOps and CI/CD
- cloud and infrastructure automation
Description du poste
Référence
MC09_2026
Objectif
Concevoir une couche d’accès unifiée aux LLM orientant chaque requête vers le modèle adapté. Fonctionnalités : API multi-modèles, bascule à chaud, routage selon tâche, complexité, sensibilité et coût, cache sémantique, quotas, alertes, refacturation interne, observabilité et dashboard coût/usage avec comparaison coût/qualité.
Profil recherché
Ingénieur en génie logiciel, informatique ou IA. Maîtrise de Python et des API REST. Des connaissances Docker/DevOps sont appréciées.
Technologies
Python, FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse, Docker. 1 stagiaire.