Description

Développeur et Data Engineer depuis plusieurs années en python et spark, j'accompagne mes différents clients dans la gestion et la transformation de leurs données à travers les technologies du Big Data.

Langues

Français
Bilingue ou natif

Préférences en matière de lieu de travail

En télétravail uniquement

Travaille majoritairement à distance

Décathlon
Data Engineer
SPORT
octobre 2024 - décembre 2024 (2 mois)
Croix, France
Dans un contexte agile et cloud (Databricks sur AWS), participation au développement de
pipelines de données robustes pour un projet stratégique. Conception de notebooks de
développement, création de flux de données Pyspark orchestrés via Airflow, et automatisation
des déploiements via GitHub Actions.

Principales réalisations :
• Implémentation de tests avec Great Expectations pour assurer la qualité des données.
• Création de Makefiles pour simplifier les tests et contrôles en local.
• Mise en place d’une CI/CD via GitHub Actions pour fiabiliser les déploiements.
• Création de flux de données en pyspark dans Airflow
• Ajout de Github Action pour automatiser les déploiements + contrôle du code
PySpark AWS Databricks Méthode agile
OVHcloud
Data Engineer OVH
TÉLÉCOMMUNICATIONS
septembre 2023 - août 2024 (1 an)
Roubaix, France
Contexte :
Le but était de fournir une expertise data ainsi qu'un accompagnement des équipes sur la mise en place des flux de données en Spark (scala comme pyspark) ainsi que sur de l'automatisation et de l'optimisation des flux de données (via Airflow)

Activité :
- Adaptation des requêtes SQL(sous dremio) en spark
- Déploiement et automatisation des flux de données via Airflow
- Développement des flux de données en spark (pyspark/scala) /python
- Utilisation des API pour la mise en place de récupération de données / mise en place de sonde permettant un monitoring automatisé

Outils et technologies :
- Dremio / Tableau / Dataiku /Jupyter
– Git / Jira
- Airflow / Spark (scala / pyspark) / Python /SQL
– Bash / Hadoop / Hive
- Agile
SQL Scala PySpark Airflow Linux
Le Groupe La Poste
Consultant BI
SANTÉ & BIEN-ÊTRE
décembre 2022 - mai 2023 (6 mois)
Guyancourt, France
Intervention dans le cadre d'un POC Dremio-Tableau
- Monter en compétence de l'équipe qui allait être en charge de l'application dremio.
- Tests de montée en en charge
- Mise en place de Dashboard dans tableau basé sur différentes volumétrie.
- Mise en place de VDS dans dremio

Accompagnement des data analystes sur du pyspark pour optimiser leur traitement de données.
Dremio PySpark Python