Paul S.

S3ns est une alliance entre Thales et Google, ayant pour volonté de proposer une offre « cloud de confiance » répondant aux critères du label SecNumCloud de l’ANSSI basée sur le code source de GCP publique. Au sein de l'équipe Analytique, le but est de pouvoir opérer en production les Service GCP afin de maintenir nos SLO, ainsi que de construire une stack d'analyse on prem sur des clusters Kubernetes.

À ce titre, nous avons la chance de bénéficier des formations Interne de Google concernant les meilleures pratiques en SRE.

⬥ GALEC Data Engineer GCP Juillet 2021 - Actuel

Mise en place d’une plateforme de collecte des différents flux historiques de données.

RÉALISATIONS

- Développement au sein d’une squad (3 squads sur ce projet) de 16 dev et 11 Po d’un applicatif dockerizé gérant l’ingestion de fichier ( avro, csv, json, ascii, xml, protobuff) et de réponse d’api REST et gRPC vers Bigquery.

- Gestion des modèles raw, bronze et silver sur Bigquery via dbt

- Gestion de l’infrastructure via terraform

- Test Unitaire avec dbt et Python

- Orchestration via Airflow

- Gestion et monitoring des processus (alerte en cas d’erreur) via dbt et prometeus

⬥ GROUPE LES ECHOS - LE PARISIEN Data Engineer GCP Mars 2021 - Juillet 2021

Réalisation et évolution de plusieurs pipelines Data et mise en place de nouveaux reportings.

RÉALISATIONS

- Evolution et création de DAGs ( Batchs ) de récupération de données brutes et mise en place de pipelines ETL

- Mise en place des nouveaux dashboarding en utilisant BigQuery pour aider au suivi d’ingestion

- Cloud function scheduler, déployé via Terraform permettant l’ingestion de données d’une API (Batch).

Mise en place d'outils d'aide à la détection de fraude en utilisant des règles statiques ou des algorithmes de ML.

RÉALISATIONS

⬥Purge d'un serveur de stockage contenant des pièces d'identités.

Nécessitant du traitement d’image, de la reconnaissance faciale et de caractères. Programme en Python et Tensorflow, packager dans une Image Docker paramétrable.

Mise en production via Jenkins / Kubernetes.

Projet réalisé seul. (Sauf pour la partie Kubernetes)

⬥POC AutoML effectuant une labellisation automatique de fraude en magasin.

⬥Analyse de données et segmentation des clients physiques en implémentant des algorithmes effectuant des recherches sur des bases de données graphes.

⬥Rédaction de multiples requêtes SQL permettant de labellisé différents cas de fraudes.

⬥Administration du projet GCP