Description

Cloud Data Engineer DBT

Une donnée fiable et cohérente étant aujourd'hui un élément crucial dans la prise de décisions, j'accompagne les équipes data dans leur renforcement de la donnée BI avec des outils tel que DBT.

Je peux travailler sur des projets de modélisation de la donnée dans tout type de base de données (datawarehouse,base de donnée non-relationnelle...) tout comme des migrations vers une nouvelle architecture dbt (vous avez un projet de mise en place de dbt dans votre entreprise, afin de moderniser votre data stack et vous recherchez quelqu'un capable de ne pas simplement déployer un projet mais sera mettre en place des fondations solides qui dureront des années).

Forte d'une expérience de 3 ans sur dbt-core où j'ai été responsable du déploiement d'un projet dbt sur GCP, je vous apporterai mon expertise pour définir votre besoin et mettre en place votre nouvelle architecture et ainsi que l'automatisation de vos pipelines de données.

Missions en corrélation avec dbt:

Expérience en tant que lead technique dans la migration dbt /Airflow avec astromer-cosmos
Expérience en tant que lead technique dans le déploiement d'un projet dbt (CI/CD,Docker,Airflow)
Expérience solide avec dbt-bigquery
Expériense significative avec dbt-databricks et dbt-trino
Connaissances sur dbt Cloud (collaboration avec les équipes dbt Labs sur un POC dbt core vs dbt Cloud chez France Télévisions)
Réelle maitrise de dbt avancé (dbt incrémental, dbt artifact, dbt_project_evaluator, macros, dbt-dry-run...)
Modélisation de données via des dbt models
Mise en place de la dbt docs pour la mise à disposition du métier le data lineage
Mise en place de dbt test pour assurer la qualité de la donnée

Autres missions courantes:

Création de table avec des requêtes SQL avancé
Mise en place de pipeline de données ETL via des scripts Python
Déploiement des ressources Cloud via Terraform
Gestion des droits
Optimisation des coûts

Langues

Français
Bilingue ou natif
Anglais
Bilingue ou natif

Préférences en matière de lieu de travail

Accepte de travailler sur site

Paris (jusqu’à 50 km)

France Télévisions
Data Engineer
CINÉMA & AUDIOVISUEL
juin 2023 - juin 2026 (3 ans)
Paris, France
Dans une volonté d'harmonisation de ses outils de Pilotage, France Télévisions créée une équipe Domaine Pilotage dédiée à la mise à disposition des données BI via un environnement dédié "Data4All" sur la Google Cloud Platform, utiles pour l'ensemble de ses dashboards. Cette équipe est composée d'un Product Owner, d'un Data Steward et d'un Data Ingénieur.

Projets importants:
Lead technique responsable du choix de l'architecture du projet dbt selon les contraintes de performances et l'usage de la donnée par les équipes métier, ainsi que du déploiement des ressources GCP dans les environnements de dev et de prod via Terraform. J'ai également apporté mon expertise dans la mise en place de tests de qualité de la donnée (dbt test) et de la mise à disposition de la documentation du projet dbt (dbt docs | App Engine | IAM | Terraform)
Lead technique lors du POC puis du déploiement d'Airflow et astronomer-cosmos dans GCP via Cloud Composer (dbt, astronomer-cosmos, CICD, Cloud Composer, Secret Manager, IAM, Cloud Storage,Terraform)
=> Réduction des coûts de plus de 40% et réduction du temps passé sur le run quotidien pour relancer les modèles dbt en échec lors des traitements.

Missions:
Transformer et enrichir les données du Lakehouse pour en faire des insights fiables et utilisables par les équipes métier (CRM, partenaires france.tv...) et les data analysts dans PowerBI au moyen de l'outil dbt
Mise en place de pipeline d'export de données brutes vers un bucket GCS pour les partenaires France.tv (arte, LCP...) via des scripts python
Industrialisation et Orchestration de la mise à jour des tables et vues dans Bigquery (CI/CD|Airflow|dbt|Astronomer|Cloud run)
Sécuriser l'accès aux données du projet GCP
Participation active aux cérémonies agiles (Rétro, Review, Grooming et Daily meeting).
Collaboration avec la Data Gouvernance dans l'intégration de la documentation dbt avec l'outil Collibra
DBT Astronomer Apache Airflow Gitlab CI/CD Google cloud
Agorapulse
Data Engineer - Marketing
RÉSEAUX SOCIAUX
septembre 2021 - décembre 2022 (1 an et 3 mois)
Paris, France
Missions:
Concevoir et automatiser l'intégration des informations des utilisateurs de l'application dans le CRM Hubspot et le datawarehouse Bigquery (Segment | batch API | Python | SQL | ETL/ELT | Webhook | Bigquery)
Implémenter des DAGs Airflow pour transformer la donnée stockée dans Bigquery
Importer les données transformées vers des dashboards Looker Studio et des fichiers Google Sheets (Cloud Storage | Airflow | Segment | Github | Batch API | Python |AWS Lambda)
Monitorer les indicateurs de performance de la qualité de la donnée Comprendre les problématiques business et mettre en place des actions pour des résultats satisfaisants le plus rapidement possible
Google cloud SQL Python ETL Airflow
Dataneo
Data Engineer - Marketing
AUTOMOBILE
octobre 2020 - août 2021 (10 mois)
Suresnes, France
Projets: Automatisation de tous les programmes de traitement des campagnes B2B ( langage de programmation SQL et Python) Mise à jour des bases de données Tableau pour nos clients (Mitsubishi, Mercedes … ) Autres missions: Elaboration de règles de gestion en vue de fiabiliser les données de nos bases. Méthode agile SCRUM
SQL Automatisation des scripts Méthode agile Python