Description

Bonjour,

Ingénieur Data Senior avec plus de 6 ans d'expérience en Big Data et Cloud. Expert en Spark, Scala,Pyspark et solutions CI/CD. Spécialisé dans l'optimisation des pipelines de données, la modélisation Vault et l'accompagnement des équipes techniques. Fort d’une expertise dans les environnements Azure et Databricks, avec une capacité à livrer des solutions performantes pour répondre aux besoins complexes des entreprises.

Domaines d’expertise

Langues

Français
Capacité professionnelle complète
Anglais
Capacité professionnelle complète

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km)

Boursorama
Data Engineer
BANQUE & ASSURANCES
juin 2021 - Aujourd'hui (5 ans)
Paris, France
Contexte du projet :
Développement des jobs temps réel et des tests unitaires et la mise en place des scénarios métier ainsi que la Conception et la migration des scénarios de conformité métier.

• Développement d’un job temps réel afin de valoriser des données Kafka dans des tables Cassandra après traitements et Développement des tests unitaires.
• Développement d’un job Spark en Python afin d’appliquer les règles métier et le déployer sur Jenkins.
• Conception des tables et la solution à appliquer (les tables référentiels, tables agrégations …).
• Compréhension des règles métiers et les sources des données à utiliser.
• Développement d’un job Spark en scala générique configurable pour les 23 scénarios métier.
• Participation à la création d’un process NIFI pour envoyer les alertes générées à Oxygéné.
• Documentation des règles métier et les choix technique sur Confluence.

Environnement technique : Hadoop, Kafka, Spark, Scala, Pyspark, Hive, Cassandra, Nifi, Intellij (SBT), Jenkins.
Spark Scala Apache Kafka Hadoop Cloudera Jenkins Nexus
Orange
Data Engineer
TÉLÉCOMMUNICATIONS
janvier 2019 - juin 2021 (2 ans et 5 mois)
Contexte du projet : Migration d’une base de données oracle ainsi que plus de 30 jobs et 100 rapports de sending vers une plateforme Big data Azure.

Tâches effectuées :
- Développement de jobs (Processor Group) de collection de données par Nifi en les stockant dans Datalake Storage GEN2.
- Traitements des flux des données en déployant un job Template Spark sur Databricks (Scala).
- Développement de jobs Spark Scala sur Databricks afin de migrer les différents rapports de sending à partir de l’ancienne solution.
- Optimisation des jobs spark afin de garantir des performances optimales.
- Réalisation d’une phase de recette des différents jobs via des requêtes SQL en effectuant une étude comparative avec l’ancienne solution afin de vérifier l’intégrité des données.
- Planification et ordonnancement des services avec Data Factory.
- Pilotage des opérations de maintenance corrective et évolutive et Monitoring des différents jobs via des alertes et envoi de mails.

Environnement technique : Azure, Spark Databricks, Scala, Cosmos, Data Factory, Nifi, Event Hub,Datalake Storage Gen2.
Spark Microsoft Azure Scala Azure Data Factory Databricks Azure cosmosdb
Sofrecom
Data Engineer
TÉLÉCOMMUNICATIONS
juin 2018 - janvier 2019 (7 mois)
Goal: implementing a predictive analsye system of customer behavior for contact centers during the call overflow period.
- Development of jobs to collect data into the Datalake(Sqoop) from SqlServer to Hive.
- Writing Hql scripts to prepare our dataset.
- Data extraction and data visualisation (statistical study) with Python,Jupyter.
- Define the different customer classes at flexible contact center and Predict the number of calls to contact centres using Pyspark(Spark 2.4.0).
- Present our result on Dashboard (PowerBi). Tools: cloudera, Hadoop, Spark, SQLServer, Clustering(k-means,DBSCAN, hierarchical clustering...), regression (Decsion trees, Random Forest, XGBOOST), Power BI

Soyez le premier à recommander Sandid

Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

Baptiste Duhen

Fullstack developer

4.6

(4)

Amed Hamou

Senior Lead Developer

(2)

Audrey Champion

Web developer

4.3

(3)

S’inscrire pour les voir

Preparatory
Preparatory Institute for Engineering Studies of Monastir (IPEIM)
2016
Preparatory
Diplôme d'ingénieur
SUP'COM
2018
Diplôme d'ingénieur en Big Data

Data Engineer

Sandid Fares

data engineer

À propos de Sandid

Expériences

Recommandations

Ces profils de freelance correspondent également à vos critères

Formations

Compétences

Catégories