Yahya M.

Refonte de l'architecture data et optimisation des coûts GCP dans le cadre de la migration de l'écosystème SAS vers GCP.

• Conception d'une plateforme ELT basée sur Cloud Storage, Airflow, DBT/Dataform et BigQuery

• Migration des logs d'ElasticSearch vers BigQuery, économie de +2000 €/mois

• Migration Cloud Composer Airflow 1 vers 2 et refacto des DAGs

• Gestion des droits et rôles utilisateurs (IAM) dans GCP

• Mise en place des ressources GCP en Infrastructure as Code via Terraform

• Optimisation des coûts GCP et création de dashboards LookerStudio sur mesure pour le suivi budgétaire

• Analyse et résolution proactive des vulnérabilités détectées via la plateforme de sécurité Wiz Bigquery, Airflow, DBT/Cloud Dataform, Pub/Sub, Python, Terraform, CI/CD, Lookerstudio, Wiz

Travail sur le projet I3 en tant qu'Ingénieur Data Senior Freelance Le projet I3 est une solution permettant aux retailers d'offrir à leurs clients des coupons de réduction ultra personnalisés.

• Initiation et développement de la plateforme Data Analytics: Gestion et optimisation du data warehouse Bigquery, traitement des données via Dataform.

• Développement et maintenance d'une API Python FastAPI pour communiquer avec l'application web I3, déploiement sur Google Cloud Run.

• Synchronisation d'une base de données Postgresql Cloud SQL vers Bigquery en utilisant Google Cloud Datastream.

• Développement et maintenance de plusieurs pipelines d'ingestion de données personnalisées

• Devops: Création et run des ressources GCP en IaC via Terraform

• Devops: maintien des pipelines CI/CD Gitlab

• Formation des équipes à l'utilisation de Lookerstudio Pro

• Gestion d'une équipe de 3 ingénieurs data : Animation de réunions hebdomadaires, répartition des tâches, revues de code. Google Cloud Run, Google Cloud Dataform, Pub/Sub, Google Cloud Scheduler, Python, Terraform, Lookerstudio Pro

J'ai rejoint Brut en avril 2020 et j'ai contribué, en tant qu'Ingénieur Data Senior, au développement de la plateforme de données de Brut Media, BrutX (service de streaming) et Brut Live.

• Création de la plateforme de données de Brut, BrutX et Brut Live (à partir de zéro), datawarehouse Bigquery

• Développement de connecteurs custom pour les apis des réseaux sociaux: Python, Flask, Cloud Run, Cloud Tasks, Dataflow (Apache Beam)

• Création de pipelines CDC via Stitch

• Création et run des ressources GCP en IaC via Terraform

• Gestion d'une équipe de 4 ingénieurs data : Animation de réunions hebdomadaires, répartition des tâches, revues de code.

• Expertise technique et choix de l'architecture sur Python, GCP et les bases de données (Postgresql & Bigquery). Google Cloud Platform, Python, Terraform, CI/CD, Stitch Data, Postgresql, Social Media APIs ( Meta, Snap, TikTok, Youtube ,Google Analytics )