Description

Data Engineer avec près de 3 ans d'expérience dans la conception, l'industrialisation et l'optimisation de pipelines de données distribués traitant plusieurs téraoctets par jour. Spécialisé en environnements Spark/PySpark et architectures Data Lake/Lakehouse (Databricks, Delta Lake). Expérience freelance récente sur des missions de pipelines ETL pour clients variés. Orienté performance, qualité des données et gouvernance des plateformes analytiques.

Langues

Français
Bilingue ou natif
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Lyon (jusqu’à 50 km)

Mission Client
Data Ingénieur
GRANDE DISTRIBUTION
novembre 2025 - juillet 2026 (8 mois)
Dakar, Sénégal
Conception et développement de pipelines de données ETL/ELT pour l'ingestion, la transformation et la mise à disposition de données provenant de sources variées (API REST, fichiers CSV/JSON, bases de données) en environnement cloud.
Modélisation et structuration des données selon une architecture Data Lakehouse (Bronze, Silver, Gold), avec optimisation des traitements Spark/PySpark et des formats de stockage (Parquet/Delta).
Mise en place de contrôles automatisés de qualité des données (validation des schémas, détection des doublons, gestion des valeurs manquantes, cohérence métier) ainsi que du monitoring et de la supervision des pipelines en production.
Développement de traitements SQL et Python pour le nettoyage, l'enrichissement et l'agrégation des données afin de répondre aux besoins analytiques et décisionnels des clients.
Orchestration et automatisation des workflows de traitement des données, gestion des erreurs, reprise sur incident et optimisation des performances des pipelines.
Livraison des projets en autonomie : recueil des besoins, cadrage technique, développement, tests unitaires et fonctionnels, documentation et accompagnement des utilisateurs.
Spark SQL Intégration de données (ETL, ELT et entreposage de données) Databricks Cloud GCP
Bedrock streaming
Data Ingénieur
DIVERTISSEMENTS & LOISIRS
septembre 2023 - octobre 2025 (2 ans et 1 mois)
Lyon, France
Conçu et maintenu des pipelines distribués sous Databricks (Spark/PySpark) traitant plusieurs To de données par jour pour une plateforme de streaming à grande échelle.
réduction de 20 à 30 % des temps de traitement en production.Optimisé les jobs Spark (partitionnement, cache, réécriture de transformations)
Mis en place des contrôles automatisés de data quality (tests de cohérence, alerting, détection d'anomalies) : zéro incident SLA majeur sur 2 ans.
Orchestré les workflows via Airflow et modélisé les données dans un environnement Delta Lake (schémas évolutifs, compaction, tables ACID).
Collaboré avec les équipes Engineering et Produit sur l'évolution de l'architecture data.
Databricks Airflow Spark SQL Cloud AWS
HawkCell
Ingénieur Traitement d'Images Médicales
SECTEUR MÉDICAL
février 2023 - août 2023 (6 mois)
Lyon, France
Développement d’algorithmes de super-résolution IRM(Python, NumPy, SimpleITK) améliorant la qualité d’image de +15% PSNR et +10% SSIM.
Entraînement et évaluation de modèles de Deep Learning pour la reconstruction d’images haute résolution.
Optimisation du temps d’exécution des scripts de 50% via vectorisation et parallélisation des traitements.
Rédaction de documentation technique et transfert de compétences à l’équipe R&D.
Python (Programming Language) Machine Learning & Deep Learning simpleITK