À propos de Mohamed Raed
Français
Capacité professionnelle complète
Anglais
Capacité professionnelle complète
Espagnol
Notions
Arabe
Bilingue ou natif
Expériences
- EDFGCP Data EngineerENERGIEseptembre 2023 - Aujourd'hui (2 ans et 9 mois)Chatou, FranceOBJECTIFSFaire la migration du DataLake actuel sur Hadoop Hortonworks vers Google Cloud PlateformMISSIONS● Identifier les sources de données et les cas d’usages dans le Datalake actuel● Définir les méthodes de récupération des données par source de données● Participer à la formalisation du DAT (Document d’architecture technique)● Identifier les services GCP pour les différentes phases de traitement● Industrialiser les ressources GCP via Terraform (Datastream, GCS, Composer, BigQuery, ..)● Développer les DAGs Airflow d’ingestion (HTTPS, SFTP)● Ajouter la partie reverse-proxy pour la connexion entre les bases de données et GCP● Transformer le code existant (Hive, Hbase, Sqoop, Nifi) pour préparer le script PySpark● Faire de la rétro-ingénierie en utilisant Codey du service Vertex AI● Développer les DAGs pour orchestrer le lancement des scripts PySpark sur DataprocENVIRONNEMENT TECHNIQUEPython, Spark, pySparkGoogle Storage, BigQuery, Dataproc serverless, Datastream, IAMTerraform, AirflowConfluence, Jira, SAFE, GitLab, GitLab CI/CD
- France TélévisionsGCP Data EngineerCINÉMA & AUDIOVISUELfévrier 2021 - août 2023 (2 ans et 7 mois)Issy-les-Moulineaux, France● Participer aux différentes phases d'un projet de l'analyse au déploiement● Construire et monitorer des pipelines de traitement de données dans leur intégralité sur GCP● Participer à la gouvernance de données par la mise en place de processus MDM : dédoublonnage, historisation, calcul d’indicateurs et d’agrégats…● Collecter des flux de données et mettre en place des contrôles de qualité et détection des anomalies● Nettoyer et transformer des données de différentes sources non homogènes● Optimiser les traitements de données et refactorer les codes● Développer des nouveaux connecteurs (opérateur custom FacebookAds, GoogleAds)● Mettre en place des traitements RGPD: anonymisation et droit à l’oubli● Industrialiser la création des tables et des vues sur BigQuery avec Dbt● Upgrader nos outils en interne (migration vers Airflow 2 et Spark 3)● Mettre en place d’une nouvelle architecture LakeHouse● Mettre en place des jobs temps réel pour certaines sources de données (PubSub, Dataflow)● Maintenir et s'assurer de la qualité de code et promouvoir les bonnes pratiques au sein de l'équipe (testing, CI/CD, code review,..)● Mettre en place une solution de profiling (Python, Cloud Function, Airflow, Dataproc)● Contribuer et veiller à la documentation technique des projets sur Confluence● Faire une veille technologique permanente dans le domaine● Préparer un Quickstart pour les nouveaux arrivés● Participer à la phase d'onboarding
- Leadeal MarketingData engineerAGENCE & SSIIoctobre 2018 - janvier 2021 (2 ans et 4 mois)Paris, France● Réalisation d’une API pour une application interne en Spark/Scala● Optimisation et ajout de nouvelles fonctionnalités sur l’outil KAMINO (ETL interne de l’entreprise)● Collection des données issues d'applications ou système d'information tiers (BDD relationnelles,API, MongoDB, Azure, AWS, FTP, …)● Mise en place et automatisation des pipelines de traitement de données (flux de données, DataLake, ingestions et structuration des données, transformation et calcul d’indicateurs)● Nettoyage et déduplication des données collectées● Traduction des besoins fonctionnels récupérés auprès de l’équipe MOA en solutions techniquesadaptées aux différents projets● Déploiement et planification des workflows dans les environnements de production en utilisantAirflow● Conception, création et maintien de bases de données relationnelles (Datamart reporting,Datamart fiche client, bases PRM/CRM)● Mise en place du processus d'anonymisation dans le cadre du Règlement Général des Protectionsde Données (RGPD)● Exploitation et monitoring des traitements quotidiens, investigation et correction des anomalies● Mise en place des tests unitaires● Automatisation du déploiement en utilisant GitLab CI/CD● Partage des connaissances dans l'équipe et instauration des bonnes pratiques● Documentation des workflows sur confluence● Faire de la veille technologique● Participation au processus du recrutement des candidats
Recommandations
Soyez le premier à recommander Mohamed Raed
Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.
Ces profils de freelance correspondent également à vos critères
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Formations
- MasterUPMC, Paris, France2018
- Diplôme d'IngénieurEcole Nationale d'Ingénieurs de Sousse, Tunisie2018
Certifications
- GCP Professional Data EngineerGoogle2023