Bienvenue sur le profil Malt de Mahmoud !
Localisation et déplacement
- Localisation
- Paris, France
- Peut travailler dans vos locaux à
-
- Paris et 50km autour
Vérifications
Charte du freelance Malt signée
Consulter la charte
Langues
Catégories
Compétences (7)
Mahmoud en quelques mots
Expériences
Société Générale - Société Générale
Banque & assurances
Senior Data Engineer
*Création des Usage Vue Hive
*Création du modèle sur SSAS
*Création des rapports PowerBi
*Création d'une chaîne CICD (Git, Jenkins, Ansible)
Kadensis - Groupe Renault
Automobile
Consultant Big Data
• Développement des jobs de transcodification Spark/Python.
• Lecture et écriture des données sur Amazon S3.
• Filtrage et transformation des données.
• Ingestion des données dans MongoDB.
• Développement des tests unitaires et d’intégrations.
Carrefour One - Carrefour
Grande distribution
Consultant Big Data
• Routage des données reçues par voie SFTP vers le datalake Carrefour (HDFS).
• Parsing et normalization des données en utilisant Spark/Scala, le résultat des traitements est sous format avro afin de créer des tables externes Hive.
• Jointure des données pour calculer les cantonnements des transactions carrefour (Spark/scala/Hive).
• Extraction des données sous format csv.
Société Générale - Société Générale
Banque & assurances
Consultant Big Data
• Ingestion, filtrage, et transformation de données de sources depuis le Datalake Société Générale dans la zone MAST (nom du projet).
• Développement de jobs quotidiens en Spark-java pour l'enrichissement et le process des données depuis des tables externes Hive (des fichiers parquets).
• Lancement de Jobs en utilisant les coordinateurs Oozie.
• Extraction des résultats dans des fichiers CSV et envoi des fichiers par voie SFTP.
• Tests Unitaires et d’intégration avec mise en place d’un « mini-Cluster » Hortonwroks dédié aux tests.
• Mise en place d'une chaine d'intégration continue en utilisant Jenkins, Git et maven et développement des scripts python pour le déploiement du projet.
Renault Digital
Automobile
Consultant Big Data
• Développement de jobs quotidien en en Spark-Scala pour alimentation d’index ElasticSarch à partir de Hive.
• Lancement de Jobs en utilisant les coordinateurs Oozie.
• Transformation et filtrage des données sous Spark.
• Tests Unitaire et d’intégration avec mise en place d’un « mini-Cluster » Hortonwroks dédié aux tests.
Enedis - Enedis
Energie
Consultant Big Data
• Acquisition des données en utilisant Java/ SQL.
• Traitement des données par Spark.
• Stockage des résultats dans des tables Teradata intermédiaires.
• Publication des données vers RTE par voie FTP.
Recommandations externes
Consultez les recommandations qu'a reçues Mahmoud