Yassin E.

PROJET RUBI : Développement et RUN d’une plateforme d’ingestion, d’analyse,d’agrégation et de retranscription de données, formant un data catalog d’entreprise ainsi que de la visualisation de données, sur le cloud Azure.

DOMAINE D’INTERVENTION :

● Analyse des besoins ainsi que de l’architecture existante, composées de SSIS/SSAS ainsi que de sites sharepoint

● Conception de schémas d’architecture ainsi que d’un plan de migration vers le cloud Azure, composé de plusieurs jalons.

● Mise en place du premier jalon, composé du socle architectural, déployé via Terraform

● Développement d’une bibliothèque de modules terraform et de pipelines de déploiement via Azure DevOps afin d’automatiser l’infrastructure as code.

● Déploiement des trois environnements cloisonnés sur trois souscriptions Azure, ainsi que le début du décommissionnement de ressources onpremise.

● Configuration de Azure Datafactory, faisant office d’ETL, ainsi que d’Azure Databricks, servant d’environnement d’éxecution des jobs Python/PySpark.

● Mise en place de pipeline CI/CD permettant le packaging et le déploiement entre environnements des développements sur Azure Datafactory ainsi que du package Python, déployé sur le Databricks file system.

● Configuration de l’ordonnanceur d’entreprise, OPCON, servant à lancer les jobs Azure Datafactory quotidiennement, cela inclut la création des schedules OPCON, des jobs OPCON ainsi que des scripts Python.

● Mise en place du monitoring de la plateforme RUBI, via des alertes OPCON faisant appel à SCOM, ainsi que des alertes Azure Monitor, également interceptées par SCOM.

● Mise en place de machines virtuelles onpremise, servant de data gateway pour PowerBi, qui se source sur Azure Databricks via des private link, afin de ne passer exclusivement par des flux privés et d’integration runtime pour Azure Datafactory.

● Mise en place de l’automatisation des déploiements de rapports PowerBi, incluant le déploiement des rapports/dataset/app, la création de data source pour les data gateway, ainsi que la création des workspace avec les règles métier.

● Mise en service progressive des différents rapports PowerBi, sur différent environnement (Dev/Pre-Production/Production)

● Run du projet, avec la gestion d’incidents ainsi que l’amélioration progressive de la plateforme

ENVIRONNEMENT TECHNIQUE :

● Cloud Azure (Datafactory, Databricks, Private DNS/Link/Endpoint, ADLS v2, Keyvault)

● Python (PySpark/Pandas) - PowerShell

● Terraform/Ansible

● Microsoft PowerBI

● Azure Devops

PROJET Datalab : Monitoring et maintenance d’une plateforme de datascraping, de traitement et de restitution de données via une application Web en ReactJS.

DOMAINE D’INTERVENTION :

● Analyse de l’architecture du produit existant, ainsi que des différents painpoint de l’application

● Refonte du déploiement des différentes ressources sur Azure via Terraform, automatisant ainsi la construction/destruction de l’application

● Mise en place de schémas d’architecture afin de documenter l’application, dans le but de plus facilement la maintenir et l’améliorer

● Déploiement de plusieurs environnements redondés et cloisonnés, tout en fermant tout ouverture réseau, et passant les communications via Privatelink/Fortinet

● Maintenance et run du cluster AKS, incluant la gestion d’incidents, ainsi que le déploiement de nouvelles ressources

● Développement de Helm charts dans le but de déployer de nouvelles ressources.

● Développement de templates de workflow Argo afin de faire de nouveaux data scraping.

● Maintenance et amélioration des pipelines de CI/CD du projet, afin de déployer les différents package wheel (Python)

● Amélioration de la plateforme de monitoring Prometheus/Grafana

● Run de l’application ReactJS, incluant l’aide aux développeurs lors d’incidents/bugs

ENVIRONNEMENT TECHNIQUE :

● Cloud Azure (AKS, Private DNS/Link/Endpoint, ADLS v2, Keyvault)

● Argo Workflow/Helm

● Python (PySpark/Pandas)

● Terraform

● Azure Devops

PROJET Analyse FinOps : Création d’un système d’analyse de données financières de toutes les filiales du groupe AXA, sur tous les clouds utilisés ainsi que la visualisation de ces données via des rapports PowerBI.

 Analyse des volumes de données financières, des différentes problématiques métiers (ex: ASE partagés par différentes entités) ainsi que des différents cloud providers à monitorer (Azure, AWS, Openshift)

 Développement de pipelines Azure Datafactory ingérant les données non traitées depuis une API Azure, les mettant à disposition tout d’abord dans un blob storage, puis dans une Azure CosmosDB

 Développement de notebooks Azure Databricks en PySpark/Pandas ingérant de grosses volumétries (centaines de milliers de lignes par traitements) de données de facturation (depuis des Blob/CosmosDB), les traitant de manière optimisées afin d’analyser et redistribuer chacun des coûts, pour enfin les stocker dans une CosmosDB ou sous forme de blob

 Mise en place de monitoring et d’alerting des pipelines Datafactory ainsi que des notebooks Databricks afin de permettre une disponibilité de 99% via des runbook ainsi que les outils natifs aux solutions

 Onboarding des cloud providers AWS et Openshift, avec un transfert des données de facturations de ces clouds providers vers un ADLS v2, ainsi que création de notebooks Databricks spécifiques pour chaque cloud providers, gérant les différentes règles métier et contraintes client

 Création de dashboard PowerBI de visualisation des données de facturation

 Création et maintiens d’un système de déploiement de la solution entière (Datafactory, Runbooks, Databricks, Monitoring, Blob/Table Storage, CosmosDB) automatisé via des pipelines de release Azure DevOps

 Création de modules Terraform de déploiement de l’infrastructure Datafactory/Databricks chez les entités clientes

 Onboarding de différentes entités en effectuant le recueil de besoins, la création des notebooks et pipelines, ainsi que le dashboard PowerBI spécifique

PROJET DevTestLabs : Automatisation de la création d’environnement de développement managé sur le cloud Azure via le service DevTestLabs.

 Création d’images customisées (golden images), servant comme socle pour la création de machines virtuelles managées, via des pipelines de release Azure DevOps, ainsi que des templates ARM prenant les logiciels via des artéfacts

 Création de pipelines de release Azure DevOps afin de deployer des machines virtuelles via les images customisées sur le service DevTestLabs, ayant pour but de déployer un environnement de développement sécurisé, automatisé, et scalable

 Création de modules Terraform de déploiement de groupes de ressources cible contenant l’infrastructure DevTestLab

 Automatisation du déploiement des ressources grâce aux scripts Terraform via Github Actions

 Création de pipelines de release automatisant le déploiement des différents services utilisés pour la solution (ADLS, Keyvault, DevTestLabs, Virtual Network, Firewall)

 Étude des besoins de chaque entité afin de pouvoir effectuer les différents aménagements réseau nécessaires sur l’Azure Firewall, les network peerings ainsi que les ouvertures de flux quand nécessaire

 Création d’un système de destruction et reconstruction automatisé via Azure DevOps ainsi que des Azure fonctions afin de pouvoir détruire chaque environnement tous les deux mois afin de minimiser les risques de sécurités ainsi que de patcher les images des machines virtuelles et les reconstruire automatiquement

PROJET Gestion Active Directory : Automatisation de la gestion de l’Azure Active Directory via la création Azure fonctions afin de permettre aux différentes entités AXA de pouvoir être autonomes dans leurs actions sans leur donner des droits directs sur l’Active directory.

 Analyse des différents besoins des entités ayant des actions à effectuer sur l’Active directory

 Développement de librairies génériques en Powershell afin de créer automatiquement des objets au sein de l’Active directory ainsi que la création de RBAC

 Déploiement d’un environnement sécurisé afin de consommer les Azure functions depuis des flux réseaux restreint via soit une Application gateway avec un whitelisting des flux entrant, soit un App Service Environment supporté par un Azure Firewall, selon les besoins ainsi que le budget de l’entité

 Automatisation de la création du groupe de ressources ainsi que des différentes ressources (Azure functions, Application gateway, App Service Plan, Blob Storage, KeyVault) ainsi que du déploiement des Azure functions via des pipelines de release Azure DevOps

PROJET Monitoring Tenant : Développement et déploiement d’une web app de monitoring de la migration de machines virtuelles du cloud privé IBM/on-premise vers Azure/AWS

 Développement d’une web app en ReactJS affichant les données de migrations cloud to cloud, stockées par des runbook sur un table storage

 Automatisation du déploiement de la web app via Azure DevOps sur un App Service

 Création de pipelines de release automatisant le déploiement des différents services utilisés pour la solution (ADLS, Keyvault, DevTestLabs, Virtual Network, Firewall)

 Ajout par itération de cas d’usages et de données additionnelles stockées sur une CosmosDB

PROJET Migration données : Migration de données provenant soit d’Azure soit d’une source externe, vers Azure.

 Etude de la volumétrie, la sensibilité ainsi que la récurrence des transferts de données

 Automatisation de la création de machines virtuelles, d’ADLS v2 ainsi que de network peerings afin que les données puissent transiter du départ à l’arrivée via des flux privés via des modules Terraform

 Création de scripts via Az Copy d’import et d’export de données Azure-to-Azure

 Migration de données via Azure Migrate pour les cas de transfert External-to-Azure

PROJET Automatisation Infra AWS : Automatisation du déploiement et du provisionnement d’infrastructure sur AWS pour les entités AXA clientes.

 Analyse des différents besoins des entités sur AWS

 Développement de scripts Terraform pour créer de l’IaC (Infrastructure as Code), créant de multiples services (EC2, VPC, DynamoDB, S3, Lambda)

 Développement de playbooks Ansible afin de provisionner et configurer des ressources de type EC2 sur AWS

 Développement de scripts Jenkins afin de provisionner et configurer des ressources de type EC2 sur AWS

PROJET Monitoring tagging AWS : Développement de scripts de discovery de ressources AWS dans le but d’alimenter une CMDB ServiceNow afin de vérifier le niveau de tagging des ressources.

 Développement de scripts python de discovery de ressources AWS afin de vérifier la conformité des tags, stockés dans une base DynamoDB

 Envoi de notifications mails via AWS SNS pour les équipes impactées

 Envoi des informations vers une CMDB ServiceNow via une API Rest

PROJET Gestion IAM AWS : Développement de fichiers de configuration IAM afin d’appliquer une pratique de « least-privilege » sur les différents comptes AWS.

 Développement de fichier yaml de configuration de rôles IAM

 Intégration du déploiement de configuration IAM de Github sur AWS via CodePipeline