À propos de Bakarime
Français
Bilingue ou natif
Anglais
Capacité professionnelle complète
Italien
Notions
Expériences
- ENGIE - Entreprises & CollectivitésDataOps & DevOpsENERGIEoctobre 2021 - Aujourd'hui (4 ans et 8 mois)Bagneux, FranceIntervention sur différents projets de la DGP :• Méthode Agile (backlog, score, sprint, rétrospective)• Déploiement de la pile AWS avec Terraform (S3-LAMBDA-GLUE, etc...)- Assurance de la cohérence et de la reproductibilité avec les modules Terraform- Approvisionnement automatisé et mise à l'échelle avec Terraform et GitLab• Maintenance en condition opérationnelle de l'infrastructure de données sur AWS- Gestion des contrôles d'accès, configurations des groupes de sécurité, configuration du chiffrement- Utilisation d'AWS Inspector pour détecter les vulnérabilités des AMI AWS- Gestion des correctifs des instances EC2 avec AMI sans vulnérabilités- Mise en place de la haute disponibilité en déployant dans plusieurs régions, en utilisant l'auto-scaling et en configurant la bascule automatique- Mise en place de la conformité SSL pour les buckets S3 pour renforcer la sécurité- Gestion des coûts en mettant en œuvre des stratégies d'économie de coûts- Surveillance des performances et de la santé des ressources avec CloudWatch- Mise en place de stratégies de sauvegarde pour les données et la configuration des ressources• Configuration de l'infrastructure Databricks sur AWS en utilisant Terraform- Créer l'infrastructure réseau (VPC, sous-réseaux, point de terminaison VPC)- Créer des ressources Databricks (espace de travail, configuration de stockage, configuration du catalogue Unity)- Configuration d'un pipeline CI/CD avec GitLab pour créer des clusters Databricks avec des instances Spot• Configuration d'Airflow géré par AWS avec Terraform- Créer un environnement MWAA- Créer de DAGs pour MWAA• Orchestration des tâches Databricks en utilisant Airflow• Déploiement et exploitation de la pile ELK pour la surveillance des ressources- Configuration de l'abonnement CloudWatch pour envoyer des journaux et des métriques vers ELK• Configuration d'Elasticsearch comme sources de données de Grafana pour la création de dashboards
- VALOWAYDataOps & DevOpsAGENCE & SSIImai 2021 - août 2021 (4 mois)Paris, FranceDans le cadre du projet Forkast :• Méthode Agile (backlog, score, sprint, rétrospective de sprint)• Conception de l'Architecture des Données et de l'Infrastructure- Modélisation des données en identifiant les entités de données pertinentes et en comprenant les relations entre ces entités.- Architecture de stockage en définissant, en considérant le volume de données, le type de technologies de stockage (AWS S3 datalake) et la manière dont les données seront stockées et récupérées.- Conception de l'intégration des données en choisissant la solution ETL AWS Glue en raison de son aspect serverless et du volume de données.• Configuration du pipeline pour l'ingestion et le traitement des données- Configuration du catalogue, de la base de données et des jobs AWS Glue.• Ingestion et traitement des données avec Lambda (Python3) et Glue (Pyspark)- Utilisation de AWS Lambda (Python) pour vérifier différents formats de fichier et extraire les données pertinentes des fichiers, puis créer un fichier JSON en sortie.- Utilisation de Glue (Pyspark) pour supprimer les doublons et valider le format des types de données.- Utilisation de Glue (Pyspark) pour agréger les données en temps réel en données quotidiennes, hebdomadaires, etc.• Déploiement de la pile (S3-LAMBDA-GLUE-DYNAMODB) avec Terraform• Configuration du pipeline CI/CD avec GitLab-CI- Configuration des informations d'identification AWS dans GitLab.- Création du pipeline de déploiement CI/CD avec .gitlab-ci.yml.
- Veolia Water technologiesDataOps et DevopsENVIRONNEMENToctobre 2019 - avril 2021 (1 an et 6 mois)Saint-Maurice, FranceDans le cadre du projet Datalake et Datahub :• Méthode Agile (backlog, score, sprint, rétrospective de sprint)• Conception de l'Architecture des Données et de l'Infrastructure- Modélisation des données- Architecture de stockage S3- Conception de l'intégration des données avec ETL AWS Glue• Configuration du pipeline pour l'ingestion et le traitement des données- Configuration du catalogue, de la base de données et des jobs AWS Glue.• Ingestion et traitement des données avec Lambda (Python3) et Glue (Pyspark)- Utilisation de AWS Lambda (Python) pour vérifier différents formats de fichier et extraire les données pertinentes des fichiers, puis créer un fichier JSON en sortie.- Utilisation de AWS Lambda (Python) pour insérer des données dans DynamoDB- Utilisation de Glue (Pyspark) pour effectuer la qualité des données (suppression de valeurs nulles et de doublons, validation du format des types, vérification si les données contiennent des champs pertinents, etc.).- Utilisation de Glue (Pyspark) pour agréger les données en temps réel en données quotidiennes, hebdomadaires, etc.• Interrogation de bases de données MySQL et PostgreSQL avec SQL.• Déploiement de ressources AWS avec Terraform- Données traitées disponibles pour affichage via API Gateway sauvegardée par AWS Lambda récupérant des données depuis DynamoDB.- Données traitées disponibles pour l'IA via un job Glue qui crée les données d'or sur S3.• Déploiement de solution d'IA (SAGEMAKER MLOPS FRAMEWORK)- Configuration des instances avec auto-scaling pour entraîner le modèle.- Création d'artefacts pour le modèle entraîné avec les paramètres du modèle et les métadonnées.- Déploiement du modèle entraîné sur l'endpoint SageMaker.- Surveillance des performances avec CloudWatch.- Gestion des versions de modèle avec SageMaker.• Tests unitaires avec Moto, Boto3, et Pytest.• Configuration du pipeline CI/CD avec GitLab-CI.
Recommandations
Soyez le premier à recommander Bakarime
Contribuez à la réussite de ce freelance en partageant votre expérience de collaboration avec lui.
Ces profils de freelance correspondent également à vos critères
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Formations
- BachelorUniversité Cadi Ayyad De Marrakech (Maroc)2006Probabilité et Statistique
- MasterUniversité Cadi Ayyad De Marrakech (Maroc)2008Mathématiques Appliquées et Modélisation
Certifications
- AWS Certified SysOps Admin AssociateAmazon Web Service2018
- AWS Certified Solution Architect AssociateAmazon Web Service2019