Ibrahima Matar Gueye

Benchmarking des Data Platforms (Databricks, Snowflake)

• Définition et validation des critères d’évaluations pour le benchmark
• Sélection d’un jeu de données volumineux et représentatif des cas d’usage métiers (jointures complexes, filtrage, agrégations)
• Conception et implémentation de scénarios de test reproductibles pour chaque plateforme :
• ingestion, transformation (ELT), agrégation, requêtage analytique, montée en charge.
• Rédaction d’un rapport comparatif détaillé incluant tableaux de synthèse, graphiques

Migration de Teradata vers Azure Databricks - SIC Intermarché France

• Développement de pipelines d’ingestion déclenchés à la dépose de fichiers par les applications sources dans le DataHub (Blob Storage), en s’appuyant sur un framework d’alimentation conçu avec Databricks et orchestré via Azure Data Factory
• Rédaction de contrats d’interface définissant les spécifications techniques et les engagements mutuels pour les échanges de données entre les sources et le DataHub
• Création des DDL des tables métiers sur Databricks en fonction des DDL existants sur Teradata
• Migration des tables métiers de Teradata vers Databricks pour les besoins de reporting (tickets de caisse, chiffre d’affaires, clients, porteurs de carte, points de vente Intermarché France)
• Développement et alimentation des tables calculées sur Databricks, en s’appuyant sur les scripts d’alimentation de Teradata
• Orchestration des notebooks Databricks via Azure Data Factory

Projet 1 : Migration de Digicompta (Cloudera on premise vers Databricks)

• Création des ressources : keyvaults, workspace Databricks premium, ADLS gen 2,
• Mise à niveau du code de Spark 2 vers Spark 3 pour garantir la compatibilité avec Databricks Runtime
• Migration des DAG Airflow vers Azure Data Factory pour orchestrer nos pipelines de jobs, remplaçant ainsi l'utilisation d'Airflow
• Mise en œuvre d’une stratégie de tests post-migration :
• Comparaison des résultats entre les environnements source (Cloudera) et cible (Databricks) sur des échantillons représentatifs.
• Validation des volumes, des règles métier et des agrégats
• Création de rapports de non-régression et analyse des écarts.

Projet 2 : C3S (élaboration d'indicateurs pour évaluer l'efficacité du système d'appel par les facteurs dans la livraison des courriers signés ou taxés)

• Développement d’un pipeline d’ingestion sur Databricks pour le traitement quotidien de fichiers plats déposés dans un compte de stockage
• Mise en œuvre d’une architecture en médaillon (Bronze / Silver / Gold) :
• Bronze : Pour l’ingestion des fichiers bruts en l’état dans Delta Lake pour archivage et traçabilité.
• Silver : Pour le traitement, nettoyage et normalisation des données.
• Gold : calcul des indicateurs de performance (taux de livraisons signées, taux d’échec, temps moyen de réponse), agrégation par zone géographique et période.
• Développement de jobs PySpark modulaires pour chaque couche
• Optimisation du stockage (partitionnement , compaction, Z-Ordering) pour accélérer les requêtes en aval.