Mise en place d'une passerelle LLM avec routage intelligent des requêtes et pilotage des coûts d'inférence

Référence

MC09_2026

Mission

Concevoir une couche d’accès unifiée aux LLM avec API multi-modèles, bascule à chaud, routage selon tâche, complexité, sensibilité et coût, cache sémantique, quotas, alertes et refacturation interne. Mettre en place l’observabilité des latences, tokens, erreurs et traces, ainsi qu’un dashboard comparant coût et qualité par modèle.

Profil et technologies

Ingénieur génie logiciel, informatique ou IA. Python et API REST ; DevOps/Docker apprécié. Python, FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse, Docker. 1 stagiaire, durée 6 mois.