Habib Herbi

Azure / Spark Data Engeneer: Developping ETLs with Spark using Delta Lake technology from Databricks

Using Databricks SQL Analytics for Data warehousing

Using:

Databricks, Data Factory ADF, Synaps, ADLS, Azure DEVOPS, Repos, Pieplines, CICI

Spark, Spark SQL, DataFrames, Scala, Python, ADLS, Azure Data Factory, Azure databricks, Azure DevOps, Azure Pipelines, Delta Lake, Lake House, Scrum, PowerBI, CICD

Skills: Databricks SQL Analytics - Delta lake - Spark 3 - Microsoft Azure

- Setting up a Maven solution

- Use of Prototype Classes (OOP) for maximum code optimization

- Code modularization

- Intervention on several cross-functional projects

- Propose architectures and guide the choice of technologies adapted to needs

- Development of a Generative AI solution with databricks using GPT4

- Identify, collect, explore, understand and integrate the data necessary to resolve problematics

- Development of the Spark/Scala solution on InteleJ with Maven – unit testing – git copilot

- Development on Azure Databricks + Data Factory

- Maintenance and provisioning of the Maven solution (dependencies, build, plugins, etc.)

- CICD with Azure Repos, DevOps and Pipelines

- Sonar Qube integration with Azure DevOps

- Migrating to Unity Catalog

- Azure Cost Optimization (FinOps)

migrer un ETL dit legacy sur SQL Serveur vers le Cloud Azure. Nous avons utilisé la technologie Delta Lake de Databricks pour bénéficier des avantages du Lake House. L'équipe et aussi responsable de la mise en production, de l'intégration continue, et de la gestion du processus DevOps. La mission consistait à :

• Proposer des architectures et orienter le choix des technologies adaptées aux besoins de différents projets Data

• Collaborer avec les experts métier pour comprendre les problématiques métier et opérationnelles

• Identifier, collecter, explorer, comprendre et intégrer les données nécessaires à la résolution de ses problématiques

• Développement, monitoring et scheduling des pipelines Azure Data Factory

• Développement des tests unitaires avec Scala Test

• Développement sur Azure Databricks + Data Factory

• Scheduling des jobs avec ADF

• CICD avec azure Repos, DevOps et Pipelines

• Monitoring de la Prod, PreProd, investigation en cas de bug 1 Test de qualité en comparant avec la source SQL Serveur

• Débogage sur Databricks

• Participer et participer à des Rétrospectives afin d'améliorer le rendement de l'équipe

• Proposer des architectures et orienter le choix des technologies adaptées aux besoins de différents projets Data : Data Model, pipeline ETL

• Collaborer avec les PO et les clients pour comprendre les problématiques métier

• Participer, avec l'équipe, au développement de la plateforme sur Azure et à la définition des bonnes pratiques de développement

• Caching et Persisting Z-ordering, Data Skipping Build et deploy pipelines - optimisation des couts azure (FinOps) - live delta tables - Unity Catalog

Outils : Spark, Spark SQL, DataFrames, Scala, Python, ADLS, Azure Data Factory, Azure databricks, Azure DevOps, Azure Pipelines, Delta Lake, Lake House, Scrum, PowerBI, CICD, Azure Repos, , SQL Server, IntelliJIDE - maven - sbt - Delta Live Tables - Unity Catalog - FinOps

Pyspark Data Engineer handling the Full big data stack : data ingestion, data transformation, data warehousing, data analytics. Also, data streaming, data visualization, Spark optimization and high performance job optimization and managing high requirement data workloads. Using: Spark Scala - PySpark - Python - Hadoop - Cloud - Hive - SparkML - SQL, noSQL, Kafka, oozie, rest api, Structured streaming, delta lake, databricks, Machine Learning , aws , spark optimization , kibana , scrum master, swagger, project management, azure databricks, hdfs, S3, spark , cluster configuration. Tableau software,Git, Kibana, Ansible, Grafana.