Thomas A.

🚀 Modernisation du SI Crédit & Valorisation Extra-financière (DPE)

Dans le cadre de cette mission pour le groupe Crédit Agricole, j'ai conçu et déployé des architectures data temps-réel et batch pour traiter des volumes massifs de données bancaires. Mon rôle a couvert l'ensemble du cycle de vie de la donnée, de l'ingestion CDC à l'analyse décisionnelle.

🏗️ Réalisations clés

Streaming & Ingestion Temps-Réel (CDC) : Mise en place d'une architecture de capture de données de changement (CDC) depuis des bases DB2 vers Kafka.

Techniques : Optimisation des flux via des stratégies de Watermarking pour garantir la cohérence des jointures de données en temps réel.

Qualité de Données & Géocodage : Développement d’une application de géocodage haute performance distribuée, traitant les adresses des 39 Caisses Régionales.

Pipeline DPE & Valorisation Énergétique : Création d'un moteur d'ingestion mensuel traitant l'intégralité du portefeuille crédits.

Impact : Croisement des données bancaires avec les DPE (Open Data ADEME & GED interne) via Spark pour enrichir le patrimoine de données avec des indicateurs de performance énergétique.

Observabilité & Monitoring : Déploiement de dashboards de supervision via la Stack ELK pour assurer la haute disponibilité de la plateforme et le suivi des jobs critiques.

💡 Expertise & Innovation : Apache Iceberg

J'ai été force de proposition pour l'implémentation d'Apache Iceberg, apportant des gains majeurs sur :

Historisation (Time Travel) : Capacité à interroger les états passés des données pour l'audit et le reporting réglementaire.

Évolutivité du schéma : Gestion fluide des modifications de structure sans interruption des pipelines.

Performance : Optimisation des requêtes grâce au partitionnement intelligent et à la réduction du scan de fichiers.

🛠️ Environnement Technique

Data : Spark (Streaming/Batch), Apache Kafka, Apache Iceberg.

Cloud & Infra : Cloudera, AWS S3, Stack ELK.

Méthodologie : Agile, CI/CD, Data Quality.

🚀 Senior Data Engineer | Lead Technique - Migration Cloud & Flux Financiers (GCP)

En tant que Senior Data Engineer au sein de la DataFactory de Natixis (Squad Flux), j'ai piloté la migration stratégique des flux de transactions financières (virements, monétique, chèques) vers Google Cloud Platform. Mon rôle a combiné leadership technique au sein d'une équipe internationale (14 personnes) et ingénierie de données complexe.

🛠️ Leadership & Qualité

Mentorat : Accompagnement de profils experts métier (Oracle) vers l'écosystème Spark/Scala.

Standards de place : Garant des bonnes pratiques de développement, des revues de code et de la stratégie de tests unitaires.

Collaboration : Coordination technique entre les équipes métiers, DataViz et développeurs (Paris/Porto).

🏗️ Ingénierie de Données & Architecture "Low Code"

Expertise sur le framework Starlake pour une gestion de l'ingestion basée sur la configuration (YAML) :

Flux XML Critiques : Conception de pipelines d'ingestion complexes utilisant les XSD pour le typage dynamique.

Sécurité (HSM) : Implémentation du chiffrement au niveau de la balise XML via des UDF Spark et parcours récursifs de schémas.

Parsing avancé : Découpage et ventilation de fichiers financiers avec normalisation et gestion de la conformité.

⚡ Optimisation des Performances & Cloud

Hybridation Spark/BigQuery : Migration stratégique des traitements lourds de Spark vers BigQuery pour exploiter la puissance native de GCP, divisant radicalement les temps de traitement sur les phases d'agrégation.

Tuning Spark : Optimisation fine (gestion du cache, conversion RDD/DataFrame, optimisation des jointures).

Orchestration : Pilotage des workflows via Airflow sur clusters éphémères Dataproc.

🛠️ Environnement Technique

GCP : BigQuery, Dataproc, Cloud Composer (Airflow), GCS.

Data : Spark (Scala), SQL, Starlake (Framework Low Code), XSD/XML.

Contexte: Migration de calculs de métriques financières (risque de taux) développées avec Informatica/Oracle Exadata vers une plateforme Big Data (Spark/Scala).

Tâches effectuées: