Mise en place d'une passerelle LLM avec routage intelligent et pilotage des coûts d'inférence

Référence

MC09_2026

Mission

Concevoir une couche d'accès unifiée aux LLM orientant chaque requête vers le modèle adapté. La solution prévoit une API multi-modèles, le routage selon tâche, complexité, sensibilité et coût, le cache sémantique, les quotas, alertes et refacturation interne, l'observabilité des tokens, erreurs et traces, ainsi qu'un dashboard comparant coût et qualité.

Profil et technologies

Ingénieur génie logiciel, informatique ou IA. Python et API REST ; Docker apprécié. Technologies : FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse, Docker. 1 stagiaire, durée 6 mois.