Reb Maa

big data engineer

Paris, France

  • 48.8546
  • 2.34771
Proposer un projet

Préférences

Déplacement
Travaille en partie dans vos locaux et en partie en télétravail
Zone d'activité
Puteaux et 80km autour
Durée de mission
  • ≤ 1 semaine
  • ≤ 1 mois
  • entre 1 et 3 mois
  • entre 3 et 6 mois
  • ≥ 6 mois
Taille d'entreprise
  • 1 personne
  • 2 - 10 personnes
  • 11 - 49 personnes
  • 50 - 249 personnes
  • 250 - 999 personnes
+2 autres

Vérifications

Rejoignez la communauté Malt pour découvrir le profil complet de Reb Maa
Rejoignez la communauté Malt pour découvrir le profil complet de Reb Maa

Compétences (15)

Reb en quelques mots

I am eager to design and implement solutions using the forefront of technology. I am Interested by Big Data problematic, I attach importance to contribute to open-source projects.
Self-reliant in applying math and machine-learning techniques in a business context, making data-driven decisions. Creative and deadline-driven person.

Specialties:
Distributed systems, Spark/Hadoop, Event-Processing/Streaming/Batch, Machine Learning,
Big Data Analytics, Communication, Data-Driven Decision Making, Statistical Modeling.

Expériences

juillet 2018 - juin 2019 | Tunis, Tunisie

Agence & SSII

Atlas Finance Solutions | Talan

Consultante Big data

Amélioration et maintenance d’une plateforme big data sur Hortonworks (HDP) pour la détection des cyberattaques en temps réel en analysant le trafic réseau.
Tâches effectuées :
▪ Collection et ingestion des données:
o Capture des données à la volée à l’aide de wireshark
o Stockage des données en format texte en local
o Communication automatique entre l’outil de messagerie Kafka et wireshark
o Création et exécution des scripts avec Cron sous Linux
▪ Traitement des données en temps réel :
o Re-configuration d’apache Storm pour améliorer le parallélisme (nombre de Workers, d’exécuteurs Spout et Bolt et de tâches)
o Modification et Création des nouveaux bolts storm afin d'améliorer la performance de la plateforme
o Implémentation des nouveaux algorithmes pour la détection des attaques à la plateforme codée en Java8
o Ajout d’une fonctionnalité, en Python 3, de machine Learning et NLP (analyse sémantique) qui permet de détecter la validité d’un DNS
o Gestion d’adéquation entre les librairies python et la plateforme Big Data au niveau déploiement
o Création d’une Topologie apache Storm en mode production pour la plateforme Big data
▪ Stockage des résultats:
o Gestion de stockage synchronisé Storm et HBase
o Utilisation Apache Phoenix pour requêtage analytique coté HBase
o Veiller à ce que les résultats sont bien stockés dans HBase
▪ Maîtrise de la distribution Hortonworks HDP déployée sur Microsoft Azure
▪ Maîtrise Linux : commandes et des scripts Shell
▪ Administration et supervision de l’infrastructure Big Data
juillet 2019 - Aujourd'hui | Montrouge, France

Télécommunications

Elitech

Consultante Big data

Réalisation d’une solution Big data sur Cloudera (CDH) qui permet de faire la correspondance entre des offres d'emploi disponibles sur Internet et les compétences des candidats de Elitech. Ce projet permet d’aider les recruteurs de Elitech dans l’étape de pré-sélection des candidats.
Tâches effectuées : Collection et ingestion des données:
o Exécution quotidienne de code de web Scrapping pour la collecte des offres d'emploi.
o Ingestion des données capturées en format Json vers HDFS sur la plateforme Big Data Cloudera.
o Alimentation automatique de tables Hive.
▪ Traitement des données en lots:
o Extraire les données stockées en HDFS à l'aide de Spark.
o Transformation des données en appliquant des opérations de nettoyage et d'agrégation.
o Indexation des offres de travail avec Elasticsearch pour faciliter la recherche de données dans leurs contenus.
o Analyse du contenu des offres de travail.
o Stockage des résultats dans des tables Hive interrogeables par Impala sous Cloudera.
o Correspondance automatique avec les CV des candidats qui sont déposés sur HDFS.
▪ Reporting
o Affichage des indicateurs à l'aide des outils de reporting PowerBI Desktop et Tableau software.

Recommandations externes

Formations

Certifications

Langues

charter modal image

Notre succès est une oeuvre collective

Contribuez à cette réussite et au sérieux de la communauté en signant la charte du freelance Malt.

Signer la charte