Balayez pour voir le profil suivant

Gillo To

data engineer (python, spark, hadoop, airflow)

Paris, France

  • 48.8546
  • 2.34771
Proposer un projet

Compétences (8)

Vérifications

Catégories

Rejoignez la communauté Malt pour découvrir le profil complet de Gillo To
Rejoignez la communauté Malt pour découvrir le profil complet de Gillo To

Découvrez ce que recherche Gillo

Déplacement
Peut faire la totalité d'une mission dans vos locaux
Compétences
Recherche des missions en python, hive, sql, Airflow, Spark

Gillo en quelques mots

De ma formation en Business Intelligence, je me suis progressivement orienté vers la data ingénierie via des formations.
J'ai eu l'occasion de travailler sur deux missions significatives ou participé à l'implémentation d'un datawarehouse avec l'écosystème hadoop et à la mise en place d'un pipeline de traitement de données basé sur Spark et Airflow.
Même si j'ai déjà touché à Scala, mon langage de prédilection est Python.
Je suis très intéressé par le cloud et me forme progressivement sur Google Cloud.
N’hésitez pas à me contacter.

Expériences

octobre 2017 - octobre 2018 | Paris, France

Banque & assurances

AXA SA- AXA

Data engineer

● Participation aux ateliers d’intégration de nouvelles sources de données (intervenants à l’international).
● Refonte de scripts SQL Server pour la compatibilité avec Hive et Impala
● Développement de scripts Python pour l’automatisation du traitement de métadonnées (provenant de fichiers Excel)
● Jointure de multiples sources de données et mise à disposition de datamart pour les analystes et data scientist (SparkSQL)
● Développements dans le cadre de la mise en place d’un datawarehouse pour un projet de data quality (Spark, Scala, Hive)
● Gestion d’incidents (intégrité de données, rattrapage de données)
● Développement d’outils de monitoring du stockage de données sur hdfs en Shell et Python
novembre 2018 - Aujourd'hui

Banque & assurances

Société Générale

Data engineer

● Développement de jobs ETL sur HDFS (Python/Spark/Zeppelin Notebook,Avro)
● Ordonnancement et automatisation de jobs Spark via Airflow (dockerisé)
● Mise en place d’une interface Call-to-Action pour la mise à jour du statut des éléments de l’infrastructure (Flask, Sql Server, PostgreSQL)

Recommandations externes

Formations

Certifications

charter modal image

Notre succès est une oeuvre collective

Contribuez à cette réussite et au sérieux de la communauté en signant la charte du freelance Malt.

Signer la charte