À propos de Ayoub
Data Engineer expérimenté (6+ ans), spécialisé dans la conception et l’industrialisation de plateformes data sur le cloud.
J’interviens sur des environnements AWS et Azure, avec un focus particulier sur Databricks, Spark, SQL et Python pour construire des pipelines robustes, des architectures Lakehouse et des solutions d’analyse de données performantes.
Habitué aux contextes complexes, j’aime :
• Simplifier des stacks data éclatées,
• Améliorer la fiabilité des traitements,
• Ooptimiser les performances/coûts des pipelines.
Mon approche est méthodique et pragmatique : compréhension des besoins métier, architecture claire, mise en œuvre propre, puis transfert de compétences aux équipes internes.
Français
Bilingue ou natif
Anglais
Bilingue ou natif
Accepte de travailler sur site
Paris (jusqu’à 20 km)
Expériences
- Compagnie Des AlpesSenior Data EngineerDIVERTISSEMENTS & LOISIRSmars 2025 - Aujourd'hui (1 an et 3 mois)Paris, France
- Intégration des données d’un nouveau type de forfait selon l’architecture Médaillon via Databricks et DLT.
- Conception de pipelines DLT automatisés et création des rapports associés dans Power BI.
- Mise en place d’un processus automatisé de contrôle du chiffre d’affaires via l’API Power BI, avec génération d’un rapport de contrôle et système d’alerting : Détection des écarts dans les rapports critiques et résolution proactive.
- Cadrage et conception de la chaine CI/CD avec Azure Devops.
- Renforcement de l’envoi des logs vers Datadog pour le monitoring des jobs.
- Evolution de la wheel Python, en PySpark, attachées aux clusters et utilisées dans les notebooks Databricks.
- Migration des Pipelines DLT du mode legacy vers le mode default pour garantir la continuité de service.
- Contribution aux sujets BUILD & RUN sur l’existant : maintenance opérationnelle, évolutions techniques, support.
- Migration des jobs Talend vers Databricks.
- Rédaction des spécifications fonctionnelles et techniques.
- OpenvalueCloud Data Engineer/DevOps - Azure & DatabricksAGENCE & SSIImai 2023 - mars 2025 (1 an et 10 mois)Paris, FranceEn mission en tant que Cloud Data Engineer - Azure & Databricks chez Up Coop (connu avant sous le nom de Chèque Déjeuner):
- Transformation de fichiers XML (Blob storage comme landing stage) avec PySpark et ingestion dans des tables Delta en architecture Medallion (Azure, Databricks, PySpark, SQL) : Traitement de fichiers d’une taille globale entre 5 Go et 14 Go par jour.
- Mise en place de Jobs Spark Streaming pour ingérer les données d'EventHub dans des tables Delta sur Databricks, permettant l'affichage des transactions et leurs redressement en temps réel pour l'application mobile, et le suivi des transactions par le support.
- Optimisation des jobs en streaming pour respecter les SLA : Moins de 5 secondes respecté à 95%.
- Configuration du partage de données via Delta Sharing.
- Refactorisation du code avec les meilleures pratiques (PEP8, CI/CD, SonarCloud) et optimisation de l’archivage et des purges. Optimisation du code et des delta tables (Z-order, partitionnement, small files,..) : réduction de 30% du temps de traitement.
- Création des pipelines CI/CD (Azure DevOps) : tests unitaires (Pytest), qualité de code (SonarCloud), intégration et régression (dbt Cloud).
- Surveillance des pipelines avec Datadog et Betterstack ; orchestration via Azure Data Factory.
- Implémentation du Unity Catalog pour la gestion des données sécurisée sur Databricks.
- Configuration et optimisation des clusters, SQL Warehouses et Workspaces sur Databricks avec gestion des ressources, scripts d'initialisation et contrôle des accès : Réduction des coûts de 35%.
- Automatisation du provisionnement de l’infrastructure en utilisant Terraform.
- Création des dashboards et rapports en utilisant Power BI et Databricks Dashboards.
- Asendia ManagementCloud Data Engineer - AWSLOGISTIQUE & SUPPLY CHAINseptembre 2019 - avril 2023 (3 ans et 8 mois)Paris, France
- Migration progressive d’un entrepôt de données existant vers une plateforme data basée sur AWS et Databricks, avec ingestion des données depuis S3 vers des tables delta.
- Participation à la mise en place des premiers pipelines Databricks en PySpark pour le traitement et la transformation des données, en complément des traitements existants sur AWS.
- Développement de jobs AWS Glue en PySpark et Spark SQL pour l’ingestion et la préparation des données.
- Création de scripts de transformation et d’enrichissement des données avec Pandas et AWS Lambda : économie de 2 jours/homme par mois.
- Création de datamarts à destination de différents départements métiers, en utilisant PySpark et SQL, afin d’alimenter des rapports Power BI.
- Contribution à l’orchestration des traitements de données avec AWS Step Functions.
- Participation au développement d’une application web (Flask, Redshift, EC2) destinée aux analystes logistiques pour simuler et optimiser les flux de transport.
Recommandations
Soyez le premier à recommander Ayoub
Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.
Ces profils de freelance correspondent également à vos critères
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Formations
- Ingénieur en Management des Technologies de l'InformationInstitut National des Postes et Télécommunications2018
- Master en Data Mining et Relation ClientMontpellier Management - Université de Montpellier 12019
Certifications
- Databricks Certified Data Engineer ProfessionalDatabricks2024
- Databricks Certified Data Engineer AssociateDatabricks