Romain Duval

Conception de l'architecture de données, incluant :

Conception de bases de données et de systèmes de stockage.

Définition de pipelines d'ingestion et de traitement des données.

Intégration efficace des sources de données de l'entreprise, en développant :

Flux de données.

Processus d'ETL (Extract, Transform, Load).

Gestion de la qualité des données :

Mise en place de processus de nettoyage et de validation des données.

Définition de règles pour assurer la précision et la fiabilité des données.

Sécurité des données :

Implémentation de mesures de sécurité telles que le chiffrement des données.

Gestion des accès et des autorisations.

Conformité aux réglementations en matière de protection des données.

Optimisation des performances de l'infrastructure de données, en veillant à ce que :

Les requêtes et les processus d'analyse s'exécutent de manière efficace et rapide.

Collaboration inter-fonctionnelle avec d'autres équipes :

Équipes de développement logiciel.

Analystes de données.

Responsables métier, pour comprendre les besoins et concevoir des solutions adaptées.

Mise en place de la méthodologie SAFe

Evangélisation des équipes sur le Craftsmanship

CONTEXTE PROJET 1 :

Au sein du département BI sur le projet de refonte et de migration vers le cloud du datamart on premise des données de la publicité TV. Ce datamart permet de suivre les indicateurs sur l’évolution du chiffre d’affaire de la publicité. En plus sur la mise en place d’un processus de contrôle qualité de données

ACTIVITES :

Conception de pipeline azure data factory pour l’ingestion de donnée dans les différentes couches du dataLake

-Implémentation et déploiement de job apache Spark de transformation de données avec Azure Databricks, et ADLS Gen2

-Implémentation des contrôles de qualité de données avec Spark Scala

-Revue et contrôle qualité de code avec Sonarqube

-Rédaction de dossier d’architecture technique et d’exploitation

-Conception d’un Dashboard de monitoring et supervision des composants (cluster azure Databricks, pipeline data factory, azure SQL Database, azure blob Storage) avec Datadog

MÉTHODOLOGIE: Agile (SCRUM)

TECHNOLOGIES:Azure Data Lake Storage Gen 2,Apache Spark, Scala, Azure Databricks, Azure Data factory, Azure DevOps, Azure SQL Database, Azure Key Vault, Microsoft PureView

CONTEXTE PROJET 2 : Mise en œuvre d’un processus de gestion de la qualité de données de la BI

ACTIVITES :

-Modélisation d’un catalogue des données de la publicité.

-Proposition d’un plan de définition des données clés par périmètre fonctionnel

-Ateliers métiers pour la définition des règles de qualité de données

-Définition des KPI de qualité de données

Ingénieur data au sein du l'entité du Collatéral et des risques du département des marchés transverses sur le projet Data Initiative qui a pour objectif la mise en place d'une plateforme cloud data commune à tous les consommateurs des données de collatéral. Cette plateforme data ingère des données venant de plusieurs sources et les transforment suivant un référentiel puis les exposent via API. Comme principales tâches:

- Proposition d'une architecture efficiente(en termes de coût et de performance) de la plateforme

- Implémentation des api d'extraction et chargement de données de oracle DB vers ADLS gen2 avec Spring batch et Apache Camel

- Design des datasets du datalake et data lineage cross périmètre fonctionnel. Ateliers métiers de construction du catalogue des données

-Supervision et monitoring des API et des clusters Azure HDInsight, Azure Kubernetes Services avec la suite ElasticSearch Logstash et Kibana

-Implémentation et déploiement de job apache spark de transformation de données avec spark scala, Azure HDInsight, et Azure Kubernetes services et ADLS Gen2

- Implémentation des contrôles de qualité de données avec spark sql

- Orchestration du pipeline avec apache airflow et livraison continue avec jenkins et sonarqube , Gitlab .