Mise en place d'une passerelle LLM avec routage intelligent des requêtes et pilotage des coûts d'inférence

Référence

MC09_2026

Objectif

Concevoir une couche d'accès unifiée aux LLM avec API multi-modèles, bascule configurable, routage selon tâche, complexité, sensibilité et coût, cache sémantique, quotas, alertes et refacturation interne. Mettre en place l'observabilité des tokens, erreurs et traces ainsi qu'un dashboard comparant coût et qualité par modèle.

Profil et technologies

Ingénieur génie logiciel, informatique ou IA. Python et API REST ; DevOps/Docker apprécié. Python, FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse et Docker.