DRS 005 Conception et implémentation d’une plateforme centralisée des données B2B PFE

Contexte et objectif

• Concevoir et implémenter une plateforme centralisée de gestion des données B2B pour la Factory B2B - Support Entreprises.
• Assurer la synchronisation automatisée des données entre sources et consommateurs avec détection automatique des changements (Change Data Capture).

Fonctionnalités et périmètre technique

• Détection des changements (Change Data Capture) pour capter les modifications au niveau des sources de données.
• Transport et diffusion des événements en temps (ou quasi-temps) réel, utilisant notamment Apache Kafka pour la messagerie/streaming.
• Orchestration des flux de données et mise en place de pipelines de traitement et de synchronisation.

Tâches attendues et livrables

• Concevoir l'architecture de la plateforme (ingestion, stockage, diffusion, monitoring) et fournir un schéma d'architecture détaillé.
• Développer et implémenter des connecteurs CDC, pipelines Kafka, et mécanismes de consommation/production des événements.
• Rédiger la documentation technique, les scripts de déploiement, et fournir des tests d'intégration/qualité des données.

Technologies & compétences requises

• Développement logiciel et traitement des données (langages et frameworks à préciser selon profil).
• Expérience ou connaissances en Data Engineering, systèmes de messaging/streaming (Apache Kafka) et concepts CDC.
• Notions d'orchestration de flux de données (ex : outils d'orchestration, conteneurisation, CI/CD) et bonnes pratiques de sécurité et résilience.

Informations pratiques

• Durée du stage : 4 à 6 mois.
• Entité d’accueil : Factory B2B - Support Entreprises.
• Nombre de stagiaires requis : 1.
• Pour postuler : https://lnkd.in/da_UTm6r