LLM Gateway & Conversation Intelligence

Présentation

LLM Gateway & Conversation Intelligence est une plateforme LLM optimisée en coûts, construite autour d’une passerelle avec routage des modèles, cache sémantique et suivi des coûts. Elle sert à produire des résumés, des actions à entreprendre, des analyses de sentiment et des scores de qualité à partir de conversations.

Objectifs

• Héberger et benchmarker des modèles open source.
• Implémenter le routage, le caching et le suivi des coûts.
• Construire le pipeline d’analyse des conversations.

Fonctionnalités

• Passerelle LLM avec routage par tâche et par coût.
• Cache sémantique pour réutiliser les réponses similaires.
• Suivi des coûts et de l’utilisation pour chaque requête.
• Résumés de conversations et actions à entreprendre.
• Analyse du sentiment et scoring de la qualité.

Profil et technologies

Profil : AI / Backend engineering.

Technologies : vLLM/Ollama, Qdrant, Redis et FastAPI.

Informations complémentaires

• Référence : Project-09.
• 1 à 2 stagiaires recherchés.
• Documents à joindre : CV au format PDF ; facultativement, courte lettre de motivation, lien GitHub/portfolio et convention de stage universitaire.
• Processus : examen du profil, entretien technique avec le responsable du projet, puis réponse finale et début du stage.