Mise en place d'une passerelle LLM avec routage intelligent des requêtes et pilotage des coûts d'inférence

Référence

MC09_2026

Projet

Concevoir une couche d’accès unifiée aux LLM orientant chaque requête vers le modèle adapté et maîtrisant le coût de l’IA. La solution devra fournir une API multi-modèles, un routage selon tâche, complexité, sensibilité et coût, une mise en cache sémantique, des quotas par équipe et cas d’usage, des alertes et une observabilité des appels. Un dashboard comparera coût et qualité par modèle.

Profil recherché

Ingénieur en génie logiciel, informatique ou IA. Maîtrise de Python et des API REST. Les connaissances DevOps/Docker sont appréciées.

Technologies

Python, FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse et Docker. 1 stagiaire. Durée indiquée : 6 mois.