Description

Data Engineer polyvalent | AWS • Python • Airflow • PySpark

Expérience variée en startup et grand groupe, avec une forte capacité d'adaptation aux enjeux métiers et aux équipes.

Actuellement en certification Databricks, DBT et Snowflake. Je recherche des missions intégrant ces technologies modernes.

Passionné par l'apprentissage continu des nouvelles solutions data et les architectures bien structurées.

Contactez-moi pour échanger sur vos projets !

Langues

Anglais
Bilingue ou natif
Français
Bilingue ou natif

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km), Lille (jusqu’à 50 km), Strasbourg (jusqu’à 40 km), Bordeaux (jusqu’à 40 km), Marseille (jusqu’à 40 km)

Groupe M6
Data Engineer
DIVERTISSEMENTS & LOISIRS
juillet 2023 - Aujourd'hui (2 ans et 11 mois)
Neuilly-sur-Seine, France
Conception et développement de pipelines de données scalables avec Python, Spark et AWS (EMR, S3, Glue, Athena, Lambda) pour traiter les données de l'application mobile M6+ et alimenter les tableaux de bord Looker. - Collaboration avec les équipes de plateforme de données, ingénieurs et data scientists pour construire une infrastructure fiable supportant plusieurs sources.
Développement et maintenance d'un SDK interne pour ECS, Lambda, Glue et EMRServerless, améliorant l'efficacité de l'équipe. Surveillance quotidienne des pipelines de production pour garantir qualité et fiabilité des données. Optimisation des jobs par refactoring du code, réduisant temps de traitement et consommation de ressources.
Application des pratiques Agile avec Jira pour la planification des sprints, estimation des tickets et communication avec les parties prenantes. Qualité du code maintenue par revues entre pairs et processus de merge requests. Création d'une architecture de données maintenable avec accent sur la stabilité des pipelines.
Tech Stack : Python (pandas, boto3, awswrangler), Databricks, Iceberg, Delta, Spark, Snowflake, Terraform, AWS (S3, EMRServerless, EMR, DynamoDB, Trino, Athena, Glue, Lambda, ECS, MWAA), DBT, Snowflake, Apache Airflow, EKS, GitLab
Python EMR AWS Glue AWS Apache Spark
Printisk
Fondateur
E-COMMERCE
mai 2020 - novembre 2023 (3 ans et 5 mois)
Paris, France
Développement de Printisk, une application web et mobile connectant les utilisateurs aux points d'impression à proximité. Construction de l'infrastructure backend complète avec AWS API Gateway, Lambda et ECS pour gérer le routage des documents depuis les uploads utilisateurs jusqu'aux logiciels d'impression.
Direction du développement technique full stack, implémentation de l'interface web avec React, Redux et TypeScript, et de l'application mobile avec Flutter. Intégration de Stripe pour les paiements et déploiement de l'infrastructure avec Terraform et pipelines CI/CD.
Management d'une équipe de cinq personnes, incluant deux co-fondateurs, deux développeurs et un business developer. Coordination du développement des fonctionnalités, décisions techniques et roadmap produit tout en maintenant une implication directe dans l'architecture backend et la conception des API.
Tech Stack : React, Redux, TypeScript, Flutter, Python 3.8, JavaScript, AWS (API Gateway, Lambda, S3, CloudFront, DynamoDB), Stripe, Amplify, Terraform, CI/CD
AWS DynamoDB React Next.js Python
bpifrance
Data engineer
BANQUE & ASSURANCES
juillet 2021 - juillet 2022 (1 an et 1 mois)
Maisons-Alfort, France
Travail dans un environnement SAFe pour collecter et exposer des données de multiples fournisseurs via des bases Athena et APIs. Direction de la migration d'une base de données critique d'évaluation de crédit de Java vers Python, transitionnant de DB2 SQL vers MongoDB Atlas. Cette base évaluait l'éligibilité des entreprises aux prêts bancaires.
Mise en place de l'infrastructure Airflow pour améliorer la fiabilité et le contrôle des pipelines. Gestion des workflows d'ingestion de S3 vers MongoDB Atlas, traitement des données avec des jobs Glue Spark. Développement de pipelines Jenkins pour les déploiements multi-environnements du développement à la production.
Surveillance de la performance des pipelines via des dashboards Datadog pour suivre les métriques et identifier les problèmes. Maintien de la qualité du code via l'intégration SonarQube et suivi des pratiques SAFe pour la planification des sprints.
Tech Stack: Python, Spark, Airflow, Jenkins, AWS (Glue, S3, Athena), SonarQube, MongoDB (Atlas, DocumentDB), SQL, Datadog, GitLab
Apache Airflow Apache Kafka AWS Python AWS Glue