À propos de Houssem
🔧 Ingénieur Data Enthousiaste | Maîtrise des Solutions de traitement Données en Mode Batch & Streaming 🔧
En tant qu'ingénieur data passionné, je m'efforce de transformer les données brutes en informations puissantes qui guident les décisions stratégiques. Avec une expertise en traitement de données batch et streaming, je construis des pipelines de données évolutifs et efficaces pour répondre aux besoins en données en temps réel et historiques.
De la conception de workflows ETL robustes à la gestion d'architectures de données à grande échelle, j’adopte une approche pratique pour relever les défis modernes de l'ingénierie des données. Je maîtrise des technologies de pointe telles qu'Apache Spark, Kafka et les plateformes cloud pour fournir des solutions de données performantes. Mon objectif est de permettre aux organisations de tirer parti de leurs données pour un impact maximal, que ce soit grâce à l'analyse en temps réel ou au traitement massif des données.
Connectons-nous et explorons comment transformer vos données en un atout stratégique !
Français
Bilingue ou natif
Anglais
Bilingue ou natif
Accepte de travailler sur site
Paris (jusqu’à 50 km)
Expériences
- ContentsquareSenior data engineerE-COMMERCEoctobre 2021 - Aujourd'hui (4 ans et 7 mois)Paris, France
- Conception d'un système de quota en exposant les différentes options, trade off, les technologies, les coûts et en chiffrant le temps requis pour la mise en production.
- Développement d’un service permettant de recevoir, valider et traiter les requêtes de quota avec Scala et Akka Http.
- Développement d’un service de streaming permettant de lire et agréger les messages de déduction de crédit depuis Kafka, et la mise à jour des crédits dans la base de données PostgreSQL.
- Création d’un système de monitoring pour les services de quota en utilisant Prometheus, Grafana et Alert Manager.
- Benchmarker les services en injectant du trafic artificiel pour estimer les ressources nécessaires au bon fonctionnement (CPU, mémoire, nombre d’instances…).
- Déploiement des services sur cloud (kubernetes, AWS et Azure) en utilisant Jenkins, Terraform et Ansible.
- Conception d’un système de scraping composé de 3 services : extracteur, scrapper et provider permettant de gérer plus de 10k ressources par seconde
- Développement d’un service extractor permettant d’extraire les URLs depuis des payloads (protobuf) en utilisant Scala, Akka stream, Kafka
- Développement d’un service de scrapping permettant de télécharger les ressources et les mettre dans un système de stockage cloud (aws, Azure)
- Gérer la retention des ressources en utilisant des Lifecycle rules sur S3 et Azure blobstorage.
- Optimiser le scraping en mettant en place des stratégies de revisite, caching et de rate limiting.
- Mettre en place d’un service provider permettant de récupérer des ressources depuis le stockage cloud.
- Estimation du coût de service de scraping (stockage, cloud operations, Kubernetes …)
- Création d’un système de validation de metadata session replay en agrégeant une quantité massive de données (100 k msg/s) et en implantant des règles métiers en utilisant Flink
Technologies : scala, golang, kafka, akka, aws, azure, kubernetes, clickhouse, aerospike, promotheus, grafana, jenkins, terraform - Société GénéraleData Engineerseptembre 2019 - octobre 2021 (2 ans et 1 mois)
- Développement des batchs en Spark / Scala permettant de créer des rapports réglementaires et financiers pour répondre aux besoins du plan de relance et de résilience, les inputs sont des fichiers dans HDFS, des tables Hive, des API rest, base de données Teradata..
- Automatisation et orchestration du workflow de processing en utilisant Oozie.
- Exécution des requêtes d'analyse de données sur Hive.
- Création d'une chaîne CI/CD en utilisant Jenkins, Ansible et nexus
- Migration vers une nouvelle plateforme Big data (Cloudera)
- Création des rapports réglementaires et des dashboards sur Power BI
- Gestion de la connexion avec Hive en utilisant Presto
- Mise en place d'une API REST permettant d'insérer et de lire les configurations des rapports réglementaires en utilisant Scala, Akka HTTP et Postgres
- Déploiement du service en utilisant Openshift
Technologies : Scala, Spark, HDFS, Sqoop, Hive, Oozie, Hue, jenkins, ansible, Power BI, Presto, Akka Http, Postgres, Openshift - KayrrosData engineerENERGIEjanvier 2019 - septembre 2019 (8 mois)Paris, France
- Développement, Automatisation et Optimisation des performances des data pipelines permettant d’analyser des images satellitaires afin de suivre la production du pétrole et du gaz en utilisant Pyspark.
- Scrapping des informations sur la production du pétrole et du gaz et les stocker dans Elasticsearch.
- Industrialisation des modèles mathématiques de traitement d’images et de machine learning.
- Déploiement des services sur un cluster Kubernetes avec Rancher.
- Manipulation des bases de données SQL et NoSQL.
- Création des Dashboards de monitoring avec Kibana.
Technologies : Python, Spark, Pandas, HDFS, airflow, elasticsearch, kibana, docker, rancher
Recommandations
Soyez le premier à recommander Houssem
Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.
Ces profils de freelance correspondent également à vos critères
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Formations
- Diplôme d'ingénieur en informatique (Double diplôme)Télécom SudParis2019Diplôme d'ingénieur en informatique (Double diplôme)
- Diplôme d'ingénieur en TélécommunicationsEcole supérieure des communications de Tunis2017Diplôme d'ingénieur en Télécommunications