Aristo H.

Technos: Azure Databricks, Spark, Python, SQL, SQL Warehouse, Serverless, Git

Projet : "GCP DataWatch" visant à mettre en place une solution de Change Data Capture (CDC) sur Google Cloud Platform (GCP) en utilisant les outils et services natifs de GCP. Cette solution permet de capturer et de synchroniser efficacement les changements sur les données d’une source et les stocker dans Bigquery.

Travaux réalisés:

Conception de l’architecture du projet

Création et connexion des différents services : Instance Mysql, Datastream, BigQuery, Cloud Storage …

Mise en place du CDC sur une instance MysQL et stockage des changements sur Cloud Storage et BigQuery

Génération des opérations CRUD (INSERT, UPDATE et DELETE) pour peupler les tables dans l’instance Mysql à travers un module composé de cloud function, Pub/Sub, cloud Scheduler

Test de la robustesse de l’architecture implémentée

Implementation d’un Use Case concret

Rédaction de la documentation technique

Technos: Python, SQL, Google Cloud SQL, Cloud Storage, Datastream, BigQuery, Pub/Sub, Cloud functions, Dataflow, Cloud Scheduler, VM instances

Périmètre principal : Fusion de la SG avec le Crédit du Nord

Tâches :

Implémentation des évolutions pour des projets déjà en production

Implémentation d'un moteur d'ingestion de données dans des tables Hive

Implémentation d'un Recovery-Scheduler permettant de se positionner au 1er jour ouvré du mois en mode "Rejeu".

Rédaction des documents techniques sur les projets

Autres périmètres

Implémentation d'un job spark "Schema Drift"

Monitoring, Logging et Alerting , pour des jobs streaming, par des scripts shell et jobs spark ordonnancé par CTRL-M.

Migration et ordonnancement des traitements de données sous CTRL-M

Technos: Python, Spark, Hadoop, Hive, Hue, Apache Oozie, shell, git