Optimisation du déploiement de modèles (LLM, ASR) sur GPU ou CPU

Contexte et environnement de travail

Le Datalab du Head Office est composé de 14 data scientists et ML engineers, 10 Admins IT et Développeurs, et 7 Analytics Managers servant de point de contact avec le business. Il s’agit d’un centre de compétences en IA structuré autour du Natural Language Processing, de la Computer Vision et des Predictive Analytics.

Vous rejoindrez l’équipe Natural Language Processing (NLP), composée de 6 ML Engineers et d’un manager. L’équipe développe des produits et services d’IA basés sur le texte et la voix et explore les Large Language Models (LLMs), le retrieval augmented generation (RAG) et le Speech-to-Text. Vous travaillerez avec les ML engineers et le manager, avec accès à des modèles open source, aux modèles propriétaires Mistral, à un pool de GPU H100 et à la plateforme Domino Datalab.

Mission

Optimiser le déploiement de modèles LLM et ASR sur GPU ou CPU.

Livrable

Le livrable prendra la forme de résultats d’expériences centralisés dans une étude des différentes options possibles. Chaque scénario sera analysé selon son intérêt pour réduire les coûts, la latence et l’empreinte environnementale.

Location et mode de travail

Le poste est basé à Rueil-Malmaison, dans l’Ouest parisien, avec une organisation hybride comprenant 50 % de télétravail.