Ibrahima Diao

Intégration du décisionnel on-premise vers GCP :

Conception de POC sur GCP avec dbt et Spark : Réalisation de preuves de concept techniques pour valider les choix d’architecture, incluant le développement de modèles dbt et de scripts Python utilisant Spark pour la transformation des données.

Développement de modules de transformation SQL sur Cloud Functions : Création de deux modules déployés sur Cloud Functions permettant l'exécution de transformations SQL sur BigQuery.

Génération dynamique de DAGs Airflow via une IHM personnalisée : Conception et développement d’un module intégré à une interface utilisateur permettant la génération automatisée de DAGs Airflow à partir de fichiers YAML, facilitant la création et la maintenance des workflows.

Contrôle qualité des données automatisé sur GCP : Implémentation d’un module déployé dans Cloud Functions permettant de vérifier la qualité des données

Intégration de données en streaming via Kafka : Développement de modules Kafka pour consommer des messages depuis un topic, les structurer et les déposer automatiquement dans Google Cloud Storage.

Orchestration des services GCP avec Apache Airflow : Conception et gestion de DAGs orchestrant l’ensemble des traitements de données sur GCP (Cloud Storage, BigQuery, Cloud Functions) .

Participation active à la migration des données vers GCP : Contribution à la reprise et à l'intégration de jeux de données historiques issus de l’infrastructure on-premise vers l’écosystème GCP, en garantissant l’intégrité et la qualité des données.

Exécution de tests de non-régression : Participation à la stratégie de validation des traitements.

Coordination et suivi projet au quotidien : Animation des réunions quotidiennes (daily meetings), gestion des tickets via outil de suivi, relances et coordination entre les équipes Data et DevOps.

Conception , implémentation d'une architecture sous GCP et le développement d'API :

Configuration et structuration d'un DataLake pour le stockage des produits à partir des places de marchés

- Implémentation d'ETL pour l'extraction des eco-produits avec python-airflow

- Conception et provisionnement d'une base de donnée Cloud SQL (PostgreSQL)

- Développement des API business nécessaires à l'échange avec notre web application

- Mise en place des environnements DEV et PROD

- Mise en production des API avec Cloud run

- Versionning du code avec git

Dans le cadre d’un projet d’une application permettant aux responsables de magasins du groupe casino de passer des commandes rapides auprès de leur central d’achat de produits vendus en magasins.  Dans une équipe de 3 data engineer, j'étais chargé de mettre en place un pipeline ETL Spark et un pipeline de Machine learning : 

-Développement et Création d’un ETL avec pyspark utilisant un cluster spark sous dataproc pour  la lecture des données depuis une table bigquery et les enregistrer sur un bucket sous google storage 

- Optimisation jobs spark

- Alimentation des différentes tables de la base de données de l'application

- Implémentation et maintenance de code Kafka

- Utilisation de cloud build et airflow pour l'automatisation et la création de déclencheur pour l'entraînement des modèles

- Mettre en place des tests unitaires, des tests de régression et des tests d’intégration

- Versonning du code avec git