Firas Ben Younes

Contexte du Projet

En tant que Data Engineer chez EDF, je dirige la migration des infrastructures de données vers Google Cloud Platform (GCP). Ce projet vise à réduire les coûts, optimiser les performances et diminuer le temps d’exécution des pipelines de données complexes, tout en gérant de grands volumes de données.

Responsabilités et Réalisations

Conception des Architectures

J’ai conçu des architectures adaptées aux besoins métiers, prenant en compte les sources et types de données. Les choix de services ont été faits pour garantir une solution robuste et évolutive.

Exemples d’Architecture

Pipeline de Données en Médaillon :

Bronze Layer : Stockage brut.

Silver Layer : Transformation en format structuré.

Gold Layer : Données prêtes pour l’analyse.

Traitement en Batch : Utilisation de Dataproc pour exécuter des jobs PySpark sur de grands volumes de données.

Migration vers GCP : Évaluation des sources, mise en place de l’environnement GCP, et migration orchestrée par Cloud Composer.

Documentation et Suivi

Décisions Architecturales

Des Architecture Decision Records (ADR) ont été créés pour documenter les choix critiques, comme l’adoption de GCP pour sa scalabilité et l’utilisation de Dataproc pour le traitement de données complexes.

Infrastructure et Outils

J’ai utilisé Terraform pour gérer l’infrastructure, incluant la configuration de buckets GCS et BigQuery. La mise en place a été coordonnée avec plusieurs équipes pour déployer les environnements nécessaires.

Impact et Collaboration

L’architecture en médaillon a amélioré l’accès aux données pour les équipes analytiques. Des sessions de formation sur GCP ont été organisées pour renforcer l’autonomie de l’équipe.

Équipe et Méthodologie

Le projet a impliqué une collaboration avec des Data Architectes, Data Engineers et DevOps, en utilisant la méthodologie SAFe pour favoriser l’agilité. Les technologies utilisées incluent Terraform, Cloud Composer, PySpark, et BigQuery.

Contexte du Projet :

En tant que Data Engineer, j’ai fais la conception et la création d’un framework pour la gestion des pipelines de données, visant à optimiser l’ingestion et la transformation tout en assurant une intégration fluide avec divers environnements.

Responsabilités et Réalisations :

Création du Framework :

Développement d’un framework basé sur l’architecture hexagonale, permettant d’isoler la logique de l’application des outils externes, ce qui facilite les tests et l’évolution technologique.

Gestion des Données :

Gestion de fichiers variés (texte, XML, CSV, JSON) provenant de sources comme LinkedIn et Creditsafe, et utilisation de bases de données telles que MongoDB et Oracle DB.

Mise en Place des Pipelines :

Établissement de chaînes de synchronisation entre les sources de données et Google Cloud Storage (GCS), préparation des pipelines pour la transformation et l’évaluation des modèles de données tout en suivant une logique de théorie des graphes pour les séquences de pipelines.

Utilisation d’Apache Beam sur Dataflow :

Mise en œuvre d’Apache Beam pour le traitement des données en temps réel et en batch, créant des pipelines robustes et scalables.

Optimisation des Ressources :

Clustering & partionnement sur les tables BigQuery.

Tables BigQuery de staging.

Formation et Accompagnement :

Formation des Data Engineers sur le framework et support client pour assurer une adoption réussie des solutions.

Impact :

Cette architecture a amélioré l’intégration continue et la gestion des données, avec des retours positifs des clients. Un Data Engineer junior a pu générer des pipelines complexes rapidement, démontrant l’efficacité du framework.

Collaboration Équipe :

Travail en mode SCRUM avec une équipe de Data Architects et Data Engineers, soutenue par Google.

Technologies Utilisées :

Orchestration : Cloud Composer

Traitement : Apache Beam, DataFlow

Stockage : BigQuery, Google Cloud Storage

Langages : Python

Bases de Données : Oracle, PostgreSQL, MongoDB

Projet : Générateur d’Articles Optimisés pour le Référencement SEO avec IA (Modèle GPT)

En tant que Data Engineer, j’ai développé un système avancé pour générer du contenu optimisé pour le SEO, visant à produire des articles pertinents et à augmenter le trafic des sites web.

Responsabilités :

Web Crawling

Traitement des Données : Élaboration de chaînes de traitement dans Google Cloud Storage (GCS).

Pipelines de Données : Conception de pipelines pour la transformation et l’évaluation des données.

APIs : Développement d’APIs pour le fine-tuning de modèles d’apprentissage profond sur Google Compute Engine.

Data Warehouse : Conception d’un Data Warehouse sur BigQuery pour l’analyse des données.

Dashboards : visualisation des performances SEO.

Impact :

Augmentation du Trafic : Contenus optimisés entraînant une hausse significative du trafic.

Amélioration du SEO : Meilleure visibilité des contenus générés.

Satisfaction Client : Retours positifs sur la qualité des articles.

Projet : Système de Détection de Plagiat

Promu Tech Lead, j’ai supervisé le développement d’un système de détection de plagiat, réduisant les coûts de 90 % par rapport aux services SaaS.

Responsabilités :

Analyse des Besoins : Étude de faisabilité pour définir les spécifications techniques.

Développement d’Algorithmes : Recherche de texte avec des techniques de traitement du langage naturel (NLP).

Transfert vers GCS et BigQuery avec Python et PySpark.

Web Crawling via des proxies résidentiels

Développement d’APIs avec Socket.IO pour communication en temps réel.

Impact :

Réduction des Coûts : Diminution des coûts liés au plagiat tout en maintenant la qualité.

Amélioration de la Qualité : Identification efficace des cas de plagiat.

Satisfaction Client : Clients satisfaits de la flexibilité et de l’efficacité des solutions.

Technologies Utilisées :

GCP, Google Cloud Scheduler, Apache Spark, PySpark, BigQuery, Python, Scala, Flask, GitLab, SonarQube, Nginx, Socket.IO.