WEVIOO
TunisiePublication : 12 nov. 2026
Mise en place d'une passerelle LLM avec routage intelligent des requêtes et pilotage des coûts d'inférence
- Stage
- 4-6 mois
- Hybride
- Échéance : 26 nov. 2026
- Artificial intelligence and technology transformation
- Backend Development
- DevOps and CI/CD
Description du poste
Référence
MC09_2026
Mission
Concevoir une couche d’accès unifiée aux LLM avec API multi-modèles, bascule à chaud, routage selon tâche, complexité, sensibilité et coût, cache sémantique, quotas, alertes et refacturation interne. Mettre en place l’observabilité des latences, tokens, erreurs et traces, ainsi qu’un dashboard comparant coût et qualité par modèle.
Profil et technologies
Ingénieur génie logiciel, informatique ou IA. Python et API REST ; DevOps/Docker apprécié. Python, FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse, Docker. 1 stagiaire, durée 6 mois.