• Hi Interns
Main
  • My Space
  • My Space
  • Offers
  • Profile
  • Hi Academy
  • Monthly Check-Up
  • LeaderboardNew
Tools
  • Hi Resume
  • Hi Resume
  • PDF to Hi Resume
  • AI Outreach
  • Tailored Resume
  • LinkedIn to Email
  • Interview sheet
  • PDF to Hi Resume
  • AI Outreach
  • Tailored Resume
  • LinkedIn to Email
  • Interview sheet
Coaching
  • Career Consultant
  • Hi Agent
  • Career Consultant
  • Hi Agent
  • Upgrade to Premium
  • Premium / Plus
  • Pricing

 

Info session

Free

The method that gets interviews, live with the team.

  1. Offers
  3. Offer details
Sign in
WEVIOO

WEVIOO

TunisiaTunisiaPublished: 12 Nov 2026

Mise en place d'une passerelle LLM avec routage intelligent des requêtes et pilotage des coûts d'inférence

  • Internship
  • 4-6 months
  • Hybrid
  • Deadline: 26 Nov 2026
  • LiteLLM
  • Software engineering
  • MLOps / DevOps
  • cloud and infrastructure automation

Job description

Référence

MC09_2026

Projet

Concevoir une couche d'accès unifiée aux LLM orientant chaque requête vers le modèle adapté. Mettre en place une API multi-modèles avec bascule à chaud, un routage selon tâche, complexité, sensibilité et coût, une mise en cache sémantique, des quotas, alertes et refacturation interne, ainsi que l'observabilité des latences, tokens, erreurs et traces. Créer un dashboard comparant coût et qualité par modèle.

Profil

Ingénieur en génie logiciel, informatique ou IA. Maîtrise de Python et des API REST. DevOps/Docker apprécié.

Technologies

Python, FastAPI, LiteLLM, vLLM/Ollama, Redis, PostgreSQL, Prometheus, Grafana, Langfuse, Docker. 1 stagiaire.

Similar offers

  • Conception d'un framework d'évaluation continue et de benchmarking des LLM et des systèmes RAG (LLMOps)WEVIOO · Tunisie · Stage
  • Data storytelling : génération automatisée de commentaires de gestion à partir des dashboards BIWEVIOO · Tunisie · Stage
  • Assistant BI conversationnel (Text-to-SQL) avec couche sémantique gouvernée pour le self-service analyticsWEVIOO · Tunisie · Stage
  • Développement d'un assistant intelligent basé sur l'IA pour la génération automatisée de dashboards BI à partir de spécifications fonctionnelles (SFD)WEVIOO · Tunisie · Stage
  • Pipeline de collecte et de classification de renseignements sur les menaces (CTI)WEVIOO · Tunisie · Stage
  • Red Teaming vocal multi-tours : gateway STT/TTS et attaquant conversationnel adaptatifWEVIOO · Tunisie · Stage
  • Stages et emplois en intelligence artificielle
  • Stages en Tunisie