Hamid Zatri

Contexte :

En tant que Cloud Data Engineer, ma mission consiste à mener à bien la migration du Data Warehouse de Teradata vers la solution BigQuery, qui est une plateforme de data warehouse proposée par Google Cloud Platform.

Mes responsabilités incluent la conception et l'implémentation de l'architecture de données dans BigQuery, en veillant à ce que les schémas, les tables et les pipelines de données soient correctement configurés et exécutés. Je suis également chargé de l'extraction, de la transformation et du chargement (ETL) des données existantes de Teradata vers BigQuery, en veillant à maintenir l'intégrité des données et à optimiser les performances.

Pendant le processus de migration, je collabore étroitement avec les équipes métier et les analystes de données pour comprendre les besoins spécifiques en matière de reporting et d'analyse. Je veille à ce que les requêtes SQL soient optimisées et que les données soient accessibles de manière sécurisée pour les utilisateurs autorisés.

Missions :

o Définition, transcription des schémas et création des tables sur BigQuery.

o Développement des Workflows d'orchestration en utilisant Airflow.

o Création et industrialisation des pipelines ETL pour extraire les données de Teradata, les transformer selon les besoins spécifiques et les charger dans BigQuery de manière fiable et optimisée.

o Création des environnements et attribution des habilitations sur GCP.

o Mise en place des référentiels métier et de monitoring sur BigQuery.

o Mise en place des référentiels métier et de monitoring sur BigQuery.

o Support des feature Teams dans l'utilisation des outils GCP, des pipelines, et résoudre les problèmes ou les questions techniques rencontrés.

o Copie de données vers GCP.

o Amélioration des outils et des processus utilisés dans le cadre de la migration, en identifiant les opportunités d'automatisation, d'optimisation des performances et de simplification des tâches.

Description du contexte :

Migration des entrepôts de données vers GCP (google cloud platform)

Description mission :

• Transfert des fichiers depuis le serveur vers Google Cloud Storage

• Alimentation du data warehouse dans BigQuery

• Transfert des données en batch de cloud storage vers BigQuery

• Création de table, pré-traitement et transformation de donnée avec BigQuery

• Création des routines pour inclure les calculs des KPI métiers dans de nouvelles tables

Outils : Bigquery, Cloud Storage, Dataproc

Subject: Fraud detection based on dynamic rules Tasks accomplished: Building a prototype capable of modifying the static rules and machine learning parameters while the fraud application is running. Tools: Java, Drools, Spring