Igor Ngouagna

développeur big data confirmé

Paris, France

  • 48.8546
  • 2.34771
Nouveau
Proposer un projet

Compétences (11)

Vérifications

Catégories

Rejoignez la communauté Malt pour découvrir le profil complet de Igor Ngouagna
Rejoignez la communauté Malt pour découvrir le profil complet de Igor Ngouagna

Découvrez ce que recherche Igor

Déplacement
Peut faire la totalité d'une mission dans vos locaux
Zone d'activité
Recherche des missions à Paris et 100km autour
Compétences
Recherche des missions en Data Engineer, Java, Spark, Scala, Python
Durée de mission
Préfèrerait éviter des missions ≤ 1 semaine, ≤ 1 mois
Taille d'entreprise
Recherche des entreprises de 1 personne, 2 - 10 personnes, 11 - 49 personnes, 50 - 249 personnes, 250 - 999 personnes et 2 autres

Igor en quelques mots

Data Engineer Confirmé avec +6 ans d'expérience dans la création d'applications robustes, fiables et évolutives, 2 ans de création et de déploiement de pipelines de données dans un cluster Hadoop. Excellente connaissance des problématiques d'architecture et de performance.
Actif, motivé, et ayant un excellent sens de la communication en français et anglais, toujours en recherche de nouveaux challenges data.

Expériences

avril 2018 - Aujourd'hui | Colombes, France

Banque & assurances

Societe Generale Corporate and Investment Banking

Date Engineer confirmé

Ingestion et traitement de données dans un cluster Hadoop avec Spark et la stack
Hortonworks, exposition quotidienne des données dans une base de données SQL.

Ingestion

• Ingestion des données de transaction financières au format csv, du NAS vers HDFS
• Nettoyage et validation des données (valeurs nulles, recovery, Etc.)
• Stockage dans HDFS, partitionnement

Traitement, consolidation

• Conception et développement d’applications spark pour formatage et transformation de la donnée selon le modèle business
• Développement d'applications Spark pour enrichir des données de finances (Ordre, AUM, Position) en les croisant aux données de références (Fonds, Investisseurs, ...).
Le challenge est de choisir et utiliser les meilleurs API Spark selon les situations.

Exposition / Restitution de la donnée

• Export des données vers des bases de données MS SQL Server en utilisant Sqoop
• Gestion de l'UPSERT

Data pipeline / scheduling

• Conception et développement de workflows d’ingestion et de traitement avec Oozie
• Mise en place de scheduleurs via coordonateurs Oozie

Performances / optimisation de jobs

• Amélioration des perfs d’un job d’ingestion et de validation, temps de traitement réduit de 2h (OOM parfois) à 10 min.
• Optimisation des performances de job d'export de centaines de millions d'enregistrement de Hive vers MS SQL Server.
Le challenge ici est de trouver la configuration optimale du job Sqoop afin qu'il s’exécute dans le meilleur délais possible

• Proposition de solutions afin d'implémenter les contraintes métier
mars 2014 - mars 2018 | Issy-les-Moulineaux, France

Conseil & audit

ATOS

Développeur FullStack Java / CLOUD

projet Alien4Cloud, plateforme DevOps de gestion du cycle de vie d’applications.

• Agile (SCRUM), continuous delivery, opensource, TOSCA
• Développeur actif du produit : Back (J2EE, Spring, ElasticSearch) + Front (HTML5,
AngularJS )
• Déploiement sur Clouds (Aws EC2, Openstack, Docker)
• Participation établissement du backlog, proposition et design de fonctionnalités
• Gestion GitHub: pull-requests, Code-review, merge, communication
septembre 2013 - mars 2014 | Issy-les-Moulineaux, France

Conseil & audit

ATOS

Developpeur JAVA / Big Data / Cloud

Cloud et automatisation

• Manipulation Cloud, migration SI vers des Clouds
• Automatisation du déploiement d'applications ou de services middlewares (Cloudify,
Puppet)


Initiative Big Data pour le stade Toulousain

• Acquisition des données clients de plusieurs sources et stockage sur HDFS
• Scrapping et structuration de la donnée en utilisant MapReduce, stockage dans
MongoDB / Hbase
• Transformation de la donnée en Graph (J2EE, Spring, Neo4j)
février 2013 - août 2013 | Issy-les-Moulineaux, France

Conseil & audit

FastConnect / ATOS

Stagiaire developpement Java / BigData / Cloud

Recommandations externes

Formations

Langues

charter modal image

Notre succès est une oeuvre collective

Contribuez à cette réussite et au sérieux de la communauté en signant la charte du freelance Malt.

Signer la charte