Description

Lead Data Engineer avec 10 ans d’expérience dans la data, disposant d’une solide expérience en conception d’architectures data distribuées, en pilotage d’équipes techniques (data, BI, web), ainsi qu’en mise en œuvre de pipelines de traitement de données à grande échelle (batch & streaming), de l’optimisation des performances et de l’industrialisation sur plateformes Big Data.

Intervention de bout en bout sur le cycle de vie data : cadrage, architecture, développement, optimisation des performances, industrialisation et maintien en condition opérationnelle. Forte capacité à structurer, sécuriser et valoriser la donnée, en lien direct avec les enjeux métiers (industrie, finance, banque, télécom)

N’hésitez pas à consulter mon profil pour apprendre plus de mes expériences et de mes compétences. Aussi je serai ravi de discuter avec vous sur vos projets et vos besoins.

Mon tarif peut être négociable selon la mission.

Langues

Anglais
Capacité professionnelle limitée
Français
Bilingue ou natif

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km), Paris (jusqu’à 20 km)

Société Générale
Lead Data engineer
BANQUE & ASSURANCES
février 2024 - Aujourd'hui (2 ans et 6 mois)
Fontenay-sous-Bois, France
Mission : Pilotage de projets de cartographie des flux réseau et des règles de sécurité, et certification des flux applicatifs dans le cadre du renforcement de la cybersécurité face aux ransomwares.

Responsabilités principales :

Pilotage technique et encadrement d’une équipe pluridisciplinaire (Data Engineers, BI Engineers, Développeurs Web).
Définition et arbitrage des choix d’architecture data et applicative, mise en place des bonnes pratiques de développement, optimisation des performances Spark, du scheduling et du stockage sur la plateforme Cloudera.
Conception de la modélisation des données, rédaction de la documentation technique et mise en place d’une gouvernance data et applicative avec gestion des rôles.
Accompagnement des équipes via peer programming, revues de code, support technique et résolution d’incidents de production.
Garantie de la cohérence et de l’interopérabilité des modules de collecte, d’ingestion, de cartographie et de certification, en alignement avec les besoins métiers.
Optimisation de la chaîne décisionnelle Lucid → Trino → MicroStrategy afin d’améliorer les performances et l’expérience utilisateur.
Pilotage de projets en méthodologie Agile : recueil des besoins, animation des ateliers de cadrage, priorisation, gestion de la roadmap, suivi des charges, de la vélocité, des jalons et du delivery, avec coordination des équipes métiers et techniques et animation des cérémonies Agile.
Conception et mise en œuvre de pipelines d’ingestion batch et streaming (référentiels, logs firewall, flux réseau), enrichissement des données pour produire une cartographie technique et fonctionnelle des flux, optimisation de la qualité des données Hive/HDFS et orchestration des traitements via Control-M.
Spark structured streaming Spark sql Hadoop Startburst Elasticsearch
BNP Paribas
Lead data engineer
BANQUE & ASSURANCES
juin 2022 - Aujourd'hui (4 ans et 1 mois)
Montreuil, France
Mission : Co-construction des offres de services Data sur le Cloud privé de BNP Paribas (Cloud IBM), support/coaching des applications sur le datahub V1 (Hadoop) et accompagnement vers les solutions de migration chez BCEF.

Réalisations :
- Accompagnement des équipes projets sur des solutions techniques et des
incidents de production
- Mise en place d’un pipeline de recette des services du datahubV2 (Star-
burst, Hive, Airflow) via Behave Python, Jenkins, Docker et Octane
- Réalisation de POC et MVP sur Starburst en fonction des uses cases sur
le datahubV1a
- Réalisation de POC et MVP sur Iceberg et couplage avec Starburst et
Spark
- Fédération de la donnée sur starburst
- Optimisation de la qualité des données Hive/Hdfs
- Développement d’un module de collecte et de production de données en
mode batch et streaming de Kafka vers Teradata
- Migration des données Kafka Confluent vers Ibm EventStream
- Participation à la mise en place d’une gouvernance de la donnée dans le
datahubV2
- Code review, validation git
- Mise en place de bonnes pratiques applicatives
starburst Kafka confluent Ibm EventStream Hive Airflow
Société Générale
Lead data engineer
BANQUE & ASSURANCES
avril 2021 - juin 2023 (2 ans et 2 mois)
Puteaux, France
Synthèse : Projet CARMA sur la conformité des données provenant des différentes
entités.

Réalisations :
- Accompagnement des data engineers (coordination et suivi des projets
data)
- Review code, validation git
- Développement de pipelines CI/CD (Git, Cucumber, Jenkins, Ansible)
- Mise en place des pipelines de collecte de données en streaming
- Mise en place des pipelines de collecte et de traitements de données
"mode batch" en scala spark et mode streaming (Nifi, Kafka, Elk)
- Stockage des données sur divers composants répondant à des besoins
divers : Hive, PostgreSQL (BI & analytics), Elasticsearch (Moteur de re-
cherche, supervision), S3 (Palantir)
- Ordonnancement des flux d’exécution (job spark, HiveQL) sur Oozie
- Optimisation des jobs spark et du workflow Nifi
- Mise en place de bonnes pratiques applicatives
Spark Nifi Ansible AWS S3 Elasticsearch