Rafik B.

Dans un environnement marqué par une forte concurrence et l'accélération des usages digitaux, l'ambition était de mettre en place une data platform stratégique et pérenne sur Microsoft Fabric.

Cette plateforme devait constituer un levier de création de valeur, en offrant une vision 360° des assurés, bénéficiaires et prospects, afin de, renforcer la connaissance client, d'optimiser le pilotage commercial, et de soutenir une stratégie d'offres plus ciblées

Tâches :

• Collaboration étroite avec le Data Architect pour la définition de l'architecture logique et technique de la plateforme (Lakehouse, Workspaces, séparation des domaines, patterns d'ingestion et d'exposition des données, sizing des capacités).

• Participation aux ateliers de modélisation de données avec le Data Manager et le Data

Architect (cadrage des domaines, définition des objets métiers...etc)

• Développement des pipelines d'orchestration et d'integration de données via Microsoft Fabric

Pipelines et Notebooks Spark

• Implémentation de l'architecture Médaillon (Bronze / Silver / Gold) dans un socle orienté

Data Mesh, avec séparation des Lakehouses et Workspaces par domaine métier.

• Définition et mise en œuvre d'une stratégie de gouvernance des données :

• Mise en place de contrôles et de reporting automatisés de qualité de données via Soda

Core,

• Gestion du data lineage et de la traçabilité via Microsoft Purview, Sécurisation des accès via séparation des Workspaces métier et implémentation du Row-Level Security (RLS)

• Historisation des données via implémentation du modèle Data Vault 2.0 au niveau Silver

• Industrialisation et automatisation des déploiements via Fabric Deployment Pipelines e ntégration CI/CD avec Azure DevOps

En tant que partenaire Databricks et membre du Delivery Partner Program, j’ai pu participer à une

mission de migration de la couche gold de Big Query et de Amazon RDS vers Databricks

Tâches :

• Etude de l’architecture technico-fonctionnelle

• Participation à la modélisation de la couche de données – Gold

• Migration des données de Big Query et Amazon RDS vers Databricks SQL avec Lakeflow

Connect

• Conception et développement de pipelines de données via Lakeflow Declarative Pipelines

Le groupe Cerba a initié un projet de plateforme d’analyse de données hybride basée sur une architecture data mesh afin d’améliorer le partage, la qualité et la sécurité des données au sein de ses entités. Ce projet devait également assurer la conformité avec les réglementations de la CNIL (RGPD) pour les données de santé.

Mon intervention s’est déroulée en deux phases :

1.Développement et mise en production du premier lot fonctionnel : mise en place d’une première version opérationnelle de la plateforme.

2.Extension des capacités et intégration de nouvelles sources de données : élargissement de l’analyse aux données financières et RH pour obtenir une vision 360° de l’activité.

Missions réalisées :

•Recueil des exigences techniques et participation aux ateliers d’architecture.

•Conception et modélisation des couches de données (Bronze, Silver, Gold).

•Développement de pipelines Big Data sur Databricks (PySpark, SparkSQL).

•Pseudonymisation des données de santé en PySpark.

•Mise en place d’un framework de contrôle qualité et conformité (Pydeequ, Great Expectations).

•Développement des mécanismes de droit à l’oubli et de Delta Sharing entre Databricks.

•Optimisation des performances (ZOrder, partitionnement).

•Orchestration des flux via Azure Data Factory.

•Mise en place d’une gouvernance des données avec Unity Catalog.

•Documentation technique et manuels d’exploitation.

Environnement technique :

•Azure (Data Factory, Databricks, DataLake, DevOps)

•Spark (PySpark, SQL)

•Bases de données (Oracle)

•Gouvernance et qualité des données (Pydeequ, Great Expectations)

•Réseaux (Virtual Networks)