À propos de Andre
Fort de 6 ans d'expérience, j'ai acquis une solide expertise dans la gestion et l'analyse des données. J'ai travaillé 3 ans en tant qu'architecte de bases de données relationnelles, concevant et optimisant des modèles de données. J'ai ensuite évolué vers le rôle de Data Engineer pendant 3 ans, où j'ai construit des pipelines de données à grande échelle.
En parallèle, j'ai participé à des projets de Data Science, appliquant mes compétences en modélisation statistique et apprentissage automatique. Mon expérience client m'a permis de développer des compétences en communication et gestion de projet.
Passionné par la data, je suis prêt à relever de nouveaux défis et à apporter une valeur ajoutée à votre organisation.
Français
Bilingue ou natif
Anglais
Capacité professionnelle complète
Accepte de travailler sur site
Paris (jusqu’à 50 km)
Expériences
- AtosData EngineerHIGH TECHdécembre 2023 - janvier 2025 (1 an et 1 mois)Bezons, FranceObjectifs de la mission chez SANOFI
- Déployer un pipeline CI/CD pour automatiser la gouvernance et le monitoring.
- Automatiser la gestion des accès et sécuriser l'utilisation des données.
- Mettre en place des pipelines d’archivage et suppression pour optimiser le stockage.
- Assurer le monitoring et le debugging des pipelines de données.
- Création et optimisation de Pipelines de transformations sur Snowflake
Réalisations1. Gestion des accès et gouvernance des données- Identification des besoins des utilisateurs et définition des rôles via AWS IAM.
- Déploiement automatisé des permissions avec CloudFormation et GitHub Actions.
- Mise en place d’une gestion des accès simplifiée et centralisée.
2. Création de pipelines d’archivage et suppression- Développement de fonctions Lambda pour déplacer et supprimer les fichiers obsolètes.
- Automatisation du processus avec AWS EventBridge pour exécuter les tâches périodiquement.
- Utilisation de CloudWatch pour suivre les exécutions et détecter les erreurs.
3. Monitoring et debugging des pipelines- Surveillance des taux d’extraction des fichiers avec Splunk.
- Analyse des logs sur CloudWatch pour détecter et classifier les erreurs.
- Collaboration avec les équipes Data pour optimiser les processus.
4. Data Loading & Pipeline Automation (S3 → Snowflake)- Chargement des données de S3 vers Snowflake via des stages externes avec détection automatique des nouveaux fichier
- Orchestration des tâches de transformation déclenchées après l'activation du CDC
Environnement Technique- Langages : Python, PySpark, SQL, YAML
- Cloud & Data Services : AWS (IAM, S3, Lambda, Glue, Athena, CloudFormation, Step Functions, EventBridge)
- Snowflake: Snowsite, Snowpipe, Snow Task, Snow SQL
- CI/CD & Monitoring : GitHub Actions, Splunk, CloudWatch, Terraform, Docker
- AtosData EngineerHIGH TECHoctobre 2022 - septembre 2023 (11 mois)Bezons, FranceObjectifs de la mission
- Automatiser la migration des données en gérant les différents formats et encodages.
- Mettre en place un système de réconciliation pour vérifier la cohérence entre les anciennes et nouvelles données.
- Garantir l'intégrité des données en assurant la qualité et la sécurité des transferts.
Réalisations1. Automatisation du pipeline de migration- Développement de scripts Python pour le fractionnement automatique des fichiers volumineux.
- Conversion et uniformisation des encodages en UTF-8 pour assurer la compatibilité.
- Implémentation d'un pipeline d’ingestion de données dans une base MySQL.
2. Optimisation et sécurisation de la base de données- Définition d’une architecture robuste avec intégrité référentielle et contraintes de validation.
- Mise en place d’un système de gestion des accès et permissions.
- Création de vues dynamiques pour limiter l’exposition des données sensibles.
3. Orchestration et automatisation avec Airflow- Conception et déploiement d’un pipeline Airflow pour la récupération périodique des fichiers depuis AWS S3.
- Implémentation de contrôles qualité automatisés (formats, intégrité) et de notifications en cas d’anomalies.
4. Valorisation analytique des données (BigQuery)- Préparation et exposition des données vers un Data Warehouse analytique (BigQuery) pour des usages reporting et BI
- Écriture de requêtes SQL analytiques (vues, agrégations) pour la consommation métier des données
- Modélisation des données analytiques et structuration orientée BI (tables, vues, indicateurs)
Environnement TechniqueLangages : Python, SQLBase de données : MySQLOutils et Frameworks : Web2Py (MVC), GitHub, Pandas, Airflow, AWS S3, Big Query - Horiba MedicalData EngineerHIGH TECHmai 2021 - octobre 2021 (5 mois)Montpellier, FranceObjectifs de la mission
- Automatiser la collecte et le traitement des données provenant des analyses hématologiques.
- Mettre en place une base de données robuste pour le stockage et l'analyse des cellules sanguines.
- Développer une interface utilisateur permettant la visualisation et la segmentation manuelle.
- Optimiser la qualité des données en appliquant des règles d'intégrité et de validation.
Réalisations1. Extraction et traitement des données XML- Développement de scripts Python pour parser et structurer les données à partir de milliers de fichiers XML.
- Nettoyage et standardisation des données pour garantir leur exploitation dans une base relationnelle.
- Implémentation d'une vérification automatique des fichiers pour détecter les anomalies.
2. Conception et optimisation de la base de données- Comparaison entre MongoDB et PostgreSQL pour déterminer la meilleure solution de stockage.
- Implémentation de PostgreSQL avec un modèle relationnel optimisé pour la segmentation des cellules.
- Définition des contraintes d'intégrité et des règles de validation des données biologiques.
3. Développement d'une interface utilisateur- Conception et développement du front-end et back-end avec PyQt5 pour permettre aux biologistes de visualiser et annoter les cellules sanguines.
- Mise en place d'un système d'interaction fluide entre la base de données et l'application.
- Tests utilisateurs pour optimiser l'ergonomie et les performances de l'interface.
4. Documentation et déploiement- Rédaction d'une documentation technique claire pour faciliter la maintenance et l'évolution du projet.
- Mise en place de tests unitaires et fonctionnels pour assurer la fiabilité de l'application.
- Déploiement de l'application sur l'intranet d'Horiba Medical.
5. Environnement Technique- Langages : Python, SQL
- Base de données : PostgreSQL
- Frameworks & Outils : PyQt5, Sphinx, GitLab
Recommandations
Soyez le premier à recommander Andre
Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.
Ces profils de freelance correspondent également à vos critères
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Formations
- Mastère Spécialisé en Big DataENSIMAG - Grenoble2022Au cours la formation de 2 ans nous avons été formés en Software Engineering, Machine learning, Data Engineering, Big Data, Maths, Data Mining, Data Visualisation, Statistiques et Probabilités
- Master 2 en InformatiqueUniversité de Yaoundé 12012Au cours de la formation de 2 ans nous avons été formés en Software Engineering, MySQL and PostGreSQL Data Base Architecture, Programmation HTML, CSS, SQL, C et PHP, Configuration de réseaux locaux (LAN)
Certifications
- Databricks Certified Data Engineer AssociateDatabricks
- Google Cloud Associate Cloud EngineerGoogle