Stagiaire Backend & Data Engineering

Description du stage

Stage PFE / stage de fin d'études portant sur le développement d’une plateforme intelligente de collecte, de traitement et d’exploitation de données.

Le stage consiste principalement à mettre en place des pipelines de données, développer des services backend et intégrer des modèles d’intelligence artificielle locaux afin d’automatiser certaines tâches de classification et de traitement des données.

Missions principales

• Collecte de données web : concevoir et développer des solutions automatisées pour extraire et collecter des données à partir de différentes sources web.
• Data Processing : nettoyer, structurer, normaliser et préparer les données collectées.
• Data Classification : mettre en place des mécanismes de classification et de catégorisation des données, notamment à l’aide de modèles LLM.
• Data Aggregation : développer des mécanismes d’agrégation, de consolidation et d’analyse des données.
• Backend Development : concevoir et développer des API REST avec FastAPI pour exposer les données et les fonctionnalités de la plateforme.
• Database Management : concevoir les modèles de données et gérer le stockage et l’exploitation des données avec MongoDB.
• LLM Integration : intégrer des modèles de langage locaux via Ollama afin d’automatiser la classification, l’extraction d’informations et le traitement intelligent des données.
• Optimization : améliorer les performances, la fiabilité et la scalabilité des pipelines de traitement.

Profil recherché

• Étudiant(e) en dernière année d’école d’ingénieur ou de formation universitaire en informatique, développement logiciel, data engineering ou intelligence artificielle.
• Bonne maîtrise de Python.
• Connaissances en développement backend et en conception d’API REST.
• Familiarité avec FastAPI ou un framework backend similaire.
• Connaissances en bases de données NoSQL, notamment MongoDB.
• Notions de collecte automatisée de données web avec BeautifulSoup, Scrapy, Selenium ou Playwright.
• Intérêt pour les LLM, l’IA générative et les outils comme Ollama.
• Capacité à manipuler, nettoyer et structurer des données.
• Esprit analytique, autonomie et capacité à résoudre des problèmes techniques.

Technologies utilisées

• Langage : Python
• Backend : FastAPI
• Base de données : MongoDB
• IA / LLM : Ollama, modèles open source
• Data Collection : BeautifulSoup, Scrapy, Selenium / Playwright
• Outils : Git, Docker, REST APIs