Axel Michalewicz

Contexte :

Au sein du CNEPE (EDF), dans le cadre de la mise en place de la Platform Data Group (PDG), visant à standardiser l’exploitation des données (industrielles, IoT, visualisation). L’objectif était de fiabiliser et industrialiser les pipelines en vue d’un passage en recette puis production.

Équipe :

Référent technique auprès de 2 Data Analysts, avec un rôle de lead sur les sujets Data Engineering et orchestration.

Mon rôle :

J’ai :

- accompagné l’équipe dans la montée en compétence sur les bonnes pratiques Data Engineering

- réalisé un audit complet des pipelines Airflow (structure, performance, maintenabilité)

- corrigé et stabilisé environ 15 DAGs existants

- mis en place une méthodologie standardisée de développement des DAGs

- séparé la logique métier via une librairie Python dédiée

- optimisé les flux S3 -> Apache Iceberg / Postgres(Bronze / Silver / Gold)

- introduit dbt pour fiabiliser les transformations

- mis en place une CI/CD (GitLab CI) avec tests unitaires et d’intégration (pytest)

- implémenté le monitoring Airflow natif et un système d’alerting par email

Résultats :

- Stabilisation complète des pipelines → exploitation fiable

- Développement d’un DAG en 1 jour max grâce à la standardisation

- Maintenabilité fortement améliorée (logique découplée des DAGs)

- Détection et résolution d’incidents accélérées

- Base technique prête pour passage en recette et production

- Montée en compétence de l’équipe sur Airflow et les pratiques ETL

Langages : Python, SQL

Outils - DB : PostgreSQL, Apache Iceberg, dbt, boto3, pytest

Infrastructure : AWS S3, Airflow, GitLab, GitLabCI

Contexte : La mission consistait à créer le schéma de base de données d’une start-up développant un outil SaaS de simulation destiné aux assurances hospitalières. Les premiers clients commençaient à utiliser la plateforme : ils saisissaient leurs données, lançaient des simulations, et les résultats devaient être conservés en base pour permettre un accès rapide et une analyse ultérieure.

Équipe : En tant que seul Data Engineer je travaillais avec un développeur full-stack qui lui travaillait sur le reste de la plateforme, et les deux fondateurs nous formulaient les besoins et priorités.

Mon rôle :

J’ai :

- conçu from scratch le schéma de la base de données et l’ensemble des tables PostgreSQL nécessaires,

- mis en place l’ORM avec SQLAlchemy ainsi que l’outil de migration Alembic pour fiabiliser l’évolution du schéma,

- configuré l’environnement de développement et d’exécution via Python, SQL, PostgreSQL, SQLAlchemy, Alembic et Docker.

📈 Résultats :

- Mise en place d’un stockage persistant des résultats de simulation : auparavant, chaque résultat devait être recalculé manuellement, entraînant plusieurs minutes d’attente par simulation.

- Accès instantané aux résultats existants pour les utilisateurs, améliorant fortement leur productivité.

- Correction de problèmes de requêtes et de typage, supprimant plusieurs sources d’erreurs dans les calculs.

- Quelques dizaines de simulations désormais historisées, permettant un suivi fiable et une meilleure organisation des données.

- Traçabilité garantie : l’outil de migration a permis de suivre clairement les évolutions du schéma, là où aucune visibilité n’existait auparavant.

Langages : Python, SQL, bash

Outils - DB : PostgreSQL, SQLALchemy, Alembic

Infrastructure : Git, Docker

Contexte : Airseas développe un prototype de voile de kite destiné à réduire la consommation des navires. En phase de tests, l’enjeu de l’équipe Data était de fournir aux ingénieurs aéronautiques des données de vols fiables, complètes et rapidement exploitables afin d’accélérer le développement du prototype.

Équipe : Je travaillais au sein d’une petite équipe Data composée d’un Product Owner et moi-même, en lien quotidien avec un ingénieur système Ops pour l’infrastructure et une trentaine d’ingénieurs aéronautiques, utilisateurs finaux des données.

Mon rôle:

En tant que Data Engineer, j’ai :

- mis en place et industrialisé les pipelines d’ingestion de données de vol via Airflow réduisant les efforts manuels d’ingestion et accélérant la mise à disposition des données quelques heures après un essai ,

- automatisé le post-traitement grâce à une librairie de calculs dédiée,

- amélioré le streaming temps réel en étendant les connexions Telegraf à de nouvelles machines

📈 Résultats:

- Temps d’ingestion 10h).

- Analyse des ingénieurs accélérée de 50% : les vols se terminant la nuit, les données étaient prêtes dès le matin pour être post traitées.

- Streaming en temps réel avec < 100 ms de latence, améliorant le suivi et la prise de décision en cours des essais.

- Plus de 100 vols traités automatiquement, garantissant une chaîne fiable et continue.

– diminution de 80% d’échecs d’ingestion grâce à la réduction des interventions manuelles.

Langages : Python, SQL, bash

Outils - DB : PostgreSQL, DuckDB, Parquet, Grafana, MQTT, Telegraf, TimescaleDB, JupyterHub

Infrastructure : Docker, Airflow, GitLab, GitLabCI, Rundeck