Benoît Miquey

🚀 Mission : Finalisation du chantier de migration spark, puis implémentation de nouvelles thématiques métiers.

🎯 Challenges : Gestion des fortes volumétries et des durées des traitements, analyse de besoins métiers complexes.

📋 Réalisations :

- Implémentation et refonte de nouvelles thématiques métier.

- Maintenance d’un système prédictif de télé opérabilité des compteurs Linky.

- Modernisation et amélioration en continue du socle.

- Orchestration des flux via Control-M.

- Chantier de migration de flux Cascading vers Spark.

- QDD des données du data lake.

🚀 Mission : Au sein du pole data, intervention sur le projet A/BTesting permettant aux clients de tester en avant première les impacts de nouvelles fonctionnalités.

🎯Challenges : Montée en compétences technique sur AWS, Airflow et Superset. Montée en compétences fonctionnelles sur domaine de l'A/B Testing et du streaming vidéo.

📋 Réalisations :

- Implémentation de nouveaux KPIs de bout en bout : implémentation du flux Spark, ordonnancement avec Airflow et intégration dans Superset.

🚀 Mission : Intervention dans l'équipe de migration Spark (+ 200 flux).

🎯Challenges : Anciens flux complexes et peu documentés, analyse et adaptation en accord avec les évolutions des besoins métiers.

📋 Réalisations :

- Chantier de migration de flux Cascading vers Spark : Implémentation des nouveaux flux, mise en place des double runs et analyse des différentiels.

- Migration du datalake HadoopFS vers CephObject : contribution à l’outil de comparaison pour s’assurer de la bonne copie des données via la comparaison des checksum des fichiers.