Gillo To

data engineer (python, spark, hadoop, airflow)

Peut se déplacer à Paris

  • 48.8546
  • 2.34771
Proposer un projet La mission ne démarrera que si vous acceptez le devis de Gillo.
Proposer un projet La mission ne démarrera que si vous acceptez le devis de Gillo.

Localisation et déplacement

Localisation
Paris, France
Peut travailler dans vos locaux à
  • Paris et 50km autour

Vérifications

Catégories

Compétences (9)

Gillo en quelques mots

Data engineer spécialisé dans la mise en place de processus d'extraction, de transformation et de chargement de données.
Expérimenté en Python, AWS, SQL, Hadoop, Airflow.
J'accompagne aujourd'hui Orange Bank sur sa migration vers le Cloud et la refonte de ses processus ETL.

Expériences

Orange Bank - Orange Bank

Banque & assurances

Data engineer

Montreuil, France

août 2020 - Aujourd'hui

Mission : En tant que Data Engineer au sein de la Data Factory, j’accompagne la migration des traitements décisionnels vers Airflow et AWS

● Refonte des traitements ETL $U vers Airflow
● Veille et évangélisation sur les best practices Airflox
● Développement des chaines d'ingestion (DAGs) en Python
● Participation au code review et intégration des tests
● Développement de Dags Airflow pour le transfert de fichier vers Amazon S3 et le lancement de packages SSIS

Environnement : AWS (S3, EC2, RDS), Python, SQL Server, Bitbucket, Confluence, Kubernetes, Visual Studio

SOCIETE GENERALE - BNP

Banque & assurances

Data engineer

Paris, France

novembre 2018 - août 2020

Mission : En tant que Data Engineer et sous la responsabilité du Deputy Global Account Manager de GTS-GAM (Infrastructure)

● Développement et mise en production de traitements ETL pour le projet VOIR (monitoring des assets) :
• Développement de jobs Python/spark sur un cluster Hadoop (fichers avro)
• Orchestration et scheduling des jobs via Airflow
● Mise en place d’une base de données Postgre commune pour servir les différents projets :
• Développement de processus ETL pour le chargement de la base depuis Hadoop
• Mise à jour, jointures et monitoring de la qualité des données

● Développement d’interfaces de data visualisation en Flask et Dash pour le suivi des initiatives de transformation de l’entité GAM
● Formation suivie sur Power BI et développement de dashboards pour le suivi de la volumétrie du stockage.
● Présentation des notebooks et des outils de manipulation de données Python (Pandas, Jupyter, RISE…)

Environnement : Power BI, Python/Dash/Flask/Pandas, Pyspark 2/Zeppelin, Hive, Git, SQL, Hortonworks

AXA SA - AXA

Banque & assurances

Data engineer

Paris, France

octobre 2017 - octobre 2018

● Participation aux ateliers d’intégration de nouvelles sources de données (intervenants à l’international).
● Refonte de scripts SQL Server pour la compatibilité avec Hive et Impala
● Développement de scripts Python pour l’automatisation du traitement de métadonnées (provenant de fichiers Excel)
● Jointure de multiples sources de données et mise à disposition de datamart pour les analystes et data scientist (SparkSQL)
● Développements dans le cadre de la mise en place d’un datawarehouse pour un projet de data quality (Spark, Scala, Hive)
● Gestion d’incidents (intégrité de données, rattrapage de données)
● Développement d’outils de monitoring du stockage de données sur hdfs en Shell et Python

Société Générale - Société Générale

Banque & assurances

Data engineer

novembre 2018 - Aujourd'hui

Recommandations externes

Formations

Certifications

charter modal image

Notre succès est une oeuvre collective

Contribuez à cette réussite et au sérieux de la communauté en signant la charte du freelance Malt.

Signer la charte