Plateforme LLMOps

Contexte

Chaque conversation d’Ordy et de Tenjah a un coût, et le modèle le plus puissant n’est pas toujours nécessaire.

Objectifs

• Développer un routeur appris sélectionnant le modèle le moins cher capable de répondre, à l’aide d’un bandit contextuel.
• Mettre en place un cache sémantique avec contrôle de fraîcheur.
• Automatiser l’évaluation avec un LLM-juge calibré et détecter la dérive.
• Construire une passerelle haute disponibilité avec repli, limitation de débit et suivi des coûts par client.

Défis techniques

Compromis entre coût, qualité et latence, ainsi qu’évaluation sans vérité terrain.

Critères de réussite

• Réduction de 40 % des coûts à qualité égale.
• Latence p95.
• Disponibilité.

Technologies

LLM Gateway, bandits, Redis, Prometheus et Docker.

Profil recherché

Ingénieur logiciel / MLOps — systèmes distribués, cloud.

Candidature

PFE de 4 à 6 mois. Choisir au maximum deux sujets parmi les sept proposés. Envoyer un CV, une lettre de motivation et les sujets choisis avant le 15/12/2026. Les profils retenus passent un entretien technique avec l’équipe B2H.