Igor Ngouagna

développeur big data confirmé

Peut se déplacer à Paris, Paris

  • 48.8546
  • 2.34771
Proposer un projet La mission ne démarrera que si vous acceptez le devis de Igor.
Proposer un projet La mission ne démarrera que si vous acceptez le devis de Igor.

Localisation et déplacement

Localisation
Paris, France
Peut travailler dans vos locaux à
  • Paris et 50km autour
  • Paris et 100km autour

Préférences

Durée de mission
Préfèrerait éviter:
  • ≤ 1 semaine
  • ≤ 1 mois
Taille d'entreprise
  • 1 personne
  • 2 - 10 personnes
  • 11 - 49 personnes
  • 50 - 249 personnes
  • 250 - 999 personnes
+2 autres

Vérifications

Langues

Catégories

Compétences (19)

Igor en quelques mots

Data Engineer Confirmé avec +6 ans d'expérience dans la création d'applications robustes, fiables et évolutives, 2 ans de création et de déploiement de pipelines de données dans un cluster Hadoop. Excellente connaissance des problématiques d'architecture et de performance.
Actif, motivé, et ayant un excellent sens de la communication en français et anglais, toujours en recherche de nouveaux challenges data.

Expériences

Societe Generale Corporate and Investment Banking - Société Générale

Banque & assurances

Date Engineer confirmé

Colombes, France

avril 2018 - Aujourd'hui

Ingestion et traitement de données dans un cluster Hadoop avec Spark et la stack
Hortonworks, exposition quotidienne des données dans une base de données SQL.

Ingestion

• Ingestion des données de transaction financières au format csv, du NAS vers HDFS
• Nettoyage et validation des données (valeurs nulles, recovery, Etc.)
• Stockage dans HDFS, partitionnement

Traitement, consolidation

• Conception et développement d’applications spark pour formatage et transformation de la donnée selon le modèle business
• Développement d'applications Spark pour enrichir des données de finances (Ordre, AUM, Position) en les croisant aux données de références (Fonds, Investisseurs, ...).
Le challenge est de choisir et utiliser les meilleurs API Spark selon les situations.

Exposition / Restitution de la donnée

• Export des données vers des bases de données MS SQL Server en utilisant Sqoop
• Gestion de l'UPSERT

Data pipeline / scheduling

• Conception et développement de workflows d’ingestion et de traitement avec Oozie
• Mise en place de scheduleurs via coordonateurs Oozie

Performances / optimisation de jobs

• Amélioration des perfs d’un job d’ingestion et de validation, temps de traitement réduit de 2h (OOM parfois) à 10 min.
• Optimisation des performances de job d'export de centaines de millions d'enregistrement de Hive vers MS SQL Server.
Le challenge ici est de trouver la configuration optimale du job Sqoop afin qu'il s’exécute dans le meilleur délais possible

• Proposition de solutions afin d'implémenter les contraintes métier

ATOS - Atos Organisation

Conseil & audit

Développeur FullStack Java / CLOUD

Issy-les-Moulineaux, France

mars 2014 - mars 2018

projet Alien4Cloud, plateforme DevOps de gestion du cycle de vie d’applications.

• Agile (SCRUM), continuous delivery, opensource, TOSCA
• Développeur actif du produit : Back (J2EE, Spring, ElasticSearch) + Front (HTML5,
AngularJS )
• Déploiement sur Clouds (Aws EC2, Openstack, Docker)
• Participation établissement du backlog, proposition et design de fonctionnalités
• Gestion GitHub: pull-requests, Code-review, merge, communication

ATOS - Atos Organisation

Conseil & audit

Developpeur JAVA / Big Data / Cloud

Issy-les-Moulineaux, France

septembre 2013 - mars 2014

Cloud et automatisation

• Manipulation Cloud, migration SI vers des Clouds
• Automatisation du déploiement d'applications ou de services middlewares (Cloudify,
Puppet)


Initiative Big Data pour le stade Toulousain

• Acquisition des données clients de plusieurs sources et stockage sur HDFS
• Scrapping et structuration de la donnée en utilisant MapReduce, stockage dans
MongoDB / Hbase
• Transformation de la donnée en Graph (J2EE, Spring, Neo4j)

FastConnect / ATOS

Conseil & audit

Stagiaire developpement Java / BigData / Cloud

Issy-les-Moulineaux, France

février 2013 - août 2013

Recommandations externes

Formations

charter modal image

Notre succès est une oeuvre collective

Contribuez à cette réussite et au sérieux de la communauté en signant la charte du freelance Malt.

Signer la charte