PFE 3 - Tracking d’Usage des Modèles LLM

Contexte & Problématique L’utilisation des LLM dans des chatbots multi-agents pose des défis de coût et de performance. Il est difficile de suivre précisément l’usage (tokens, temps de réponse) et les dépenses liées aux API.

Objectif Concevoir un système de traçage des appels LLM, mesurer l’utilisation (tokens, durée, volume) et analyser la performance pour optimiser les ressources.

Missions principales

• Interception des appels aux LLM et enregistrement des métadonnées
• Collecte des métriques d’usage (tokens, durée, volumes)
• Traitement et analyse des données pour produire des statistiques
• Optimisation continue pour réduire les coûts et améliorer la performance

Résultats attendus

• Suivi exhaustif de l’utilisation des modèles LLM
• Maîtrise des coûts API et amélioration des performances
• Aide au choix optimal des modèles selon les cas d’usage

📧 Pour postuler: mohamed.ak@siyadah-ai.com