À propos de Omar
Senior Data Engineer, expert en Databricks, Spark et Delta Lake, passionné par l’automatisation des pipelines et le développement assisté par IA (GitHub Copilot, Claude). Certifié Databricks, je crée des solutions fiables et rapides pour améliorer la qualité des données et produire des insights exploitables.
Français
Bilingue ou natif
Anglais
Capacité professionnelle complète
Accepte de travailler sur site
Paris (jusqu’à 50 km)
Expériences
- AXASenior Data Engineer & AI-driven Development Specialistoctobre 2024 - Aujourd'hui (1 an et 8 mois)Paris, FranceÉquipe : 1 Data Lead, 3 Data Engineers, 2 Business AnalystsProjet : Suivi et contrôle qualité KYC• Accélération du développement et automatisation des pipelines via IA (Claude, GitHub Copilot)• Construction d’une Golden Source centralisée et automatisation des contrôles qualité• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Développement et optimisation des pipelines Databricks et Spark• Optimisation des jobs Spark• Maintien des pipelines en production et suivi de performance• Visualisation de la qualité des données via Power BI• Collaboration avec les équipes métiers pour remédiation et reportingProjet : Reporting Distribution Finance• Industrialisation des BV respectant le framework Carbon• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Développement et optimisation des pipelines Databricks et Spark• Optimisation des jobs Spark• Maintien des pipelines en production et suivi de performance• Automatisation du développement et refactoring avec GitHub Copilot• Génération de documentation automatique• Génération de spécifications pour les applications existantes via Copilot• Automatisation de la revue de code et de la mise en production en respectant le framework CarbonEnvironnement technique: Azure Databricks, Unity Catalog, ADLS Gen2, Python, PySpark, Delta Lake, SQL, Git, Power BI, Claude AI, GitHub Copilot
- Société GénéraleData engineerBANQUE & ASSURANCESnovembre 2022 - septembre 2024 (1 an et 10 mois)Paris, FranceÉquipe : Tech Lead, 4 Data Engineers, 3 Business Analysts, 1 Product Owner, 1 Scrum MasterProjet : Transformation de la chaîne de calcul RWA• Migration complète des pipelines Teradata vers Databricks Lakehouse• Conception, optimisation et partitionnement de pipelines Spark pour données financières• Mise en place de Unity Catalog pour gouvernance, sécurité et classification des données• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Optimisation des jobs Spark• Contrôle qualité des données et réduction des rejets dans le moteur de calculEnvironnement technique: Databricks, Spark, Delta Lake, AWS (S3, Lambda, Step Functions, Glue), Python, Scala, SQL, Jenkins, Git
- COLASData Engineeroctobre 2020 - novembre 2022 (2 ans et 1 mois)Vélizy-Villacoublay, FranceÉquipe : 1 Data Lead, 2 Data Engineers, 2 Business AnalystsProjet : Plateforme de collecte et analyse des données métiers• Conception d’une architecture Lakehouse sur Databricks• Développement de pipelines Bronze/Silver/Gold avec gestion CDC• Mise en place de tests unitaires avec ScalaTest et automatisation partielle des flux• Travail avec les métiers pour définir les spécifications• Création des tests unitaires et documentation• Optimisation des jobs Spark• Collaboration avec équipes métiers pour intégration et reportingEnvironnement technique: Azure Data Factory, Azure Databricks, Unity Catalog, Spark, Scala, SQL, Delta Lake, Azure DevOps, Git
Recommandations
Soyez le premier à recommander Omar
Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.
Ces profils de freelance correspondent également à vos critères
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Formations
- Master 2: Traitement d'information et analyse de données (TRIED)l'Université Paris Saclay2020Master 2: Traitement d'information et analyse de données (TRIED)
- Ecole Mohammadia d'Ingénieurs2019