Yangfan Xiang

- Microsoft Fabric

- airflow

- dbt

- postgresql

- python

with my team to build from scratch a new data warehouse

total energies digital factory en tant que Senior Data Engineer

stack technique:

- azure

- databricks

- pyspark

- python

Tinyclues, spécialisée dans le ciblage prédictif des campagnes marketing, compte plus de 300 clients, allant des grands comptes aux PME. Sa plateforme permet de planifier des campagnes tout en ciblant chaque consommateur avec des contenus personnalisés. L'outil intègre également une partie CDP (Customer Data Platform) qui permet aux responsables des campagnes de mieux connaître leurs consommateurs et d'avoir une vision macro/micro. Les enjeux techniques consistent à servir les 300 clients avec une seule base de code en utilisant la notion de multi-tenant. Cela entraîne naturellement les problématiques suivantes que nous avons pu résoudre :

- Conformité avec le RGPD : mise en place de data masking, data retention, data deletion request...

- Onboarding des nouveaux clients : gestion des clients uniquement par des fichiers de configuration YAML, auto-génération de configurations, tooling...

- Notion de template et multi-tenant : pas de redondance de code, gestion des changements = modification de configuration

- Efficacité, robustesse, lisibilité et extensibilité : conçu avec l'architecture Medallion, tout notre code (workflow ELT, DAG Airflow et requêtes SQL) est testé (tests unitaires + tests d'intégration) et optimisé (FinOps est un travail quotidien)

- CI/CD mature : chaque changement = modification de configuration = mise en production en quelques minutes et de manière automatique. Technologies : Data : Python, DBT, PostgreSQL Plateforme : Cloud Native sur GCP, BigQuery, Airflow (Composer)... CI/CD : Git (Gitflow), GitHub, GitHub Actions, CircleCI, Terraform NoCode : Retool, Airbyte