Job description

Concevoir une plateforme d’hébergement on‑premise/cloud pour modèles de langage open source (ex : Llama, Mistral) sur Kubernetes.
Mettre en œuvre le partitionnement et l’allocation des ressources matérielles/GPU.
Déployer un framework de serving haute performance (vLLM, Ollama, Triton Inference Server).
Automatiser le pipeline CI/CD et GitOps (ArgoCD, GitLab CI) pour le packaging, le versionnement des prompts/modèles et le déploiement continu.
Intégrer une passerelle de sécurisation, gestion des quotas et monitoring des latences/coûts d’inférence.
Diplôme/Technologies : Kubernetes, vLLM/Triton, GitOps (ArgoCD), Docker, Python, MLflow/Kubeflow, GPU Operator. Cycle ingénieur (Cloud Computing / DevOps / IA appliquée).
Entité d’accueil : Infra IT – Infra IT et cloud.
Nombre de stagiaires : 1.

Concevoir une plateforme d’hébergement on‑premise/cloud pour modèles de langage open source (ex : Llama, Mistral) sur Kubernetes.
Mettre en œuvre le partitionnement et l’allocation des ressources matérielles/GPU.
Déployer un framework de serving haute performance (vLLM, Ollama, Triton Inference Server).
Automatiser le pipeline CI/CD et GitOps (ArgoCD, GitLab CI) pour le packaging, le versionnement des prompts/modèles et le déploiement continu.
Intégrer une passerelle de sécurisation, gestion des quotas et monitoring des latences/coûts d’inférence.
Diplôme/Technologies : Kubernetes, vLLM/Triton, GitOps (ArgoCD), Docker, Python, MLflow/Kubeflow, GPU Operator. Cycle ingénieur (Cloud Computing / DevOps / IA appliquée).
Entité d’accueil : Infra IT – Infra IT et cloud.
Nombre de stagiaires : 1.

Infra IT - Infra IT et cloud - DSI 003 - Industrialisation d'une plateforme LLMOps & Serving IA Cloud Native (Private AI Infrastructure)

Job description