Ibrahima Diattara

Projet : Migration d'une plateforme Data vers Google Cloud Platform (GCP) Participation à un projet de migration d'une architecture data existante vers GCP, dans un objectif de modernisation, de montée en performance et de simplification de la maintenance des traitements de données. Réalisations : ✓ Migration des données d'Amazon S3 vers Google Cloud Storage (GCS) ✓ Transformation des pipelines Apache NiFi en DAGs Airflow développés en PySpark ✓ Migration des tables external SQL Server vers des tables external BigQuery ✓ Réécriture et optimisation des requêtes SQL Server vers le langage SQL de BigQuery ✓ Mise en place de tests de validation (fonctionnels et techniques) ✓ Rédaction de la documentation technique des nouveaux workflows

Environnement technique : Nifi, SQL Server, BigQyery, Google Cloud Storage, Airflow,PySpark

Projet : TEGG – Traitement de données piézométriques Projet visant à récupérer, traiter et analyser des données issues de capteurs mesurant le niveau des nappes phréatiques (données piézométriques), afin de garantir leur qualité et produire des analyses fiables. Réalisations : ✓ Optimisation des flux Nifi ✓ Devolopper des Custom Processors Java dans Apache NiFi ✓ Récupération automatique des fichiers depuis Amazon S3 ✓ Développer des procédures stockées Neo4j en Java ✓ Intégration et orchestration des flux de données via Apache NiFi ✓ Contrôle qualité des données avec application de règles métiers spécifiques avec Nifi ✓ Mise en place d'une couche de traitement avancé avec Spark en Scala (agrégations, détection d'anomalies) ✓ Insertion des données enrichies Neo4J ✓ Indexer les logs applicatif dans elasticsearch ✓ Mise en place des visualisations de type Data Table dans kibana pour surveilller l'evolution des traitements

Environnement technique : Nifi, Spark/Scala, Neo4j, Amazon S3, Java et Groovy , Python et Bash

Professeur Data Engineering (Databricks, Google Cloud , Azure, Spark/Scala, Nifi, KAFKA , ELK,

Airflow/PySpark)

Projet Metrology API : Développement d'une application Python/Flask avec interface Swagger pour la création de flows.

Réalisations : Automatisation de la création de flows NiFi, topics Kafka, policies Ranger, répertoires HDFS, et gestion complète des index Elasticsearch (index patterns Kibana, ILM, sécurité des champs).

Projet Monitoring Metrology : Supervision des clusters NiFi/Kafka via dashboards pour anticiper les pertes de données.

Réalisations : Configuration de PrometheusReporting (NiFi), collecte de métriques via Telegraf et Jolokia, déploiement de Kafka Lag Exporter, création de dashboards Grafana, tuning des processors NiFi et partitions Kafka.

Projet Upgrade HDF : Étude d’impact et optimisation post-upgrade de la plateforme HDF.

Réalisations : Analyse des flux NiFi, du comportement Kafka (producteurs/consommateurs), et optimisation des performances après mise à jour.

Projet DHR Usage Layer : Valorisation de la Business View technique RH.

Réalisations : Automatisation de la gestion des tables Hive, mise à jour des partitions, indexation des logs applicatifs dans Elasticsearch.

Stack technique : NiFi, Kafka, Python, Flask, Ranger, Elasticsearch/Kibana, Prometheus, Telegraf, Jolokia, Grafana, HDFS, Spark/Scala, Hive/HUE, Jenkins, SonarQube, Nexus