Assistant Data Scientist – Speech-to-speech en temps réel

Contexte

Dans le cadre de la transformation numérique du Groupe Crédit Agricole, le stage porte sur l’amélioration de l’accessibilité et de l’expérience utilisateur grâce au développement de solutions de communication vocale intelligentes. Les modèles speech-to-speech (S2S) en temps réel doivent être étudiés pour assister les collaborateurs et les clients dans des contextes multilingues ou d’accessibilité, tout en optimisant les coûts et la latence par rapport aux pipelines Speech-to-Text (STT) + LLM + Text-to-Speech (TTS).

Objectif

Développer une solution complète de speech-to-speech en temps réel comprenant une méthodologie d’évaluation robuste, une interface de test interactive et un prototype opérationnel afin d’évaluer la viabilité de cette technologie dans le contexte bancaire.

Missions

• Cartographier l’état de l’art des méthodes S2S et documenter les composants des pipelines composés.
• Définir des métriques adaptées : latence, qualité vocale, intelligibilité et préservation du sens.
• Construire des jeux de tests couvrant différents domaines métiers et différentes langues.
• Établir des benchmarks entre les approches S2S et les pipelines STT+LLM+TTS.
• Développer une application interactive de test des modèles en temps réel.
• Visualiser les performances et comparer les résultats selon les architectures et configurations.
• Intégrer des modèles open source tels que Seamless, Whisper, Riva et OmniVoice.
• Optimiser la latence et la qualité, et explorer l’intégration de glossaires métier pour améliorer la précision terminologique bancaire.
• Comparer les approches end-to-end S2S et les pipelines composés, notamment sur les coûts computationnels et les compromis performance/latence/coût.

Organisation et environnement

Le stage se déroule à Montrouge, en France, au sein d’une squad pluridisciplinaire encadrée par des experts IA et rattachée fonctionnellement à un chef de projet IA. Les travaux suivent une démarche de veille bibliographique, sélection et implémentation des approches, étude comparative sur données internes et externes, puis intégration dans les produits et services IA en production. Une publication scientifique pourra être envisagée si les travaux aboutissent à de nouvelles approches plus performantes que l’état de l’art. Le stagiaire aura accès à des environnements d’engineering industriel en local et dans le cloud, ainsi qu’à des données internes et open data.