Abdellah Mezar

Objectifs : La conception et développement d'un POC pour alimentation d'un Data Lakehouse ouvert en utilisant les dernières technologies (Apache Airflow, Apache Spark, NoSQL, Hive, DBT, MINIO, AWS etc.) pour répondre aux exigences de l’entreprise (Projet Data IA interne)

DOMAINE D'INTERVENTION :

• Mise en œuvre des pipelines d'ingestion et d'intégration de données à partir de MySQL Serveur

• Etude de cas d'intégration de données à partir de diverses sources tout en s'assurant la qualité et la cohérence des données.

• Support Utilisateurs et animation des ateliers de travails

• Gestion des incidents (ITSM), (Jira)

• Participation à la mise en place de la chaine CI/CD via Jenkins

• Suivi d'activité du server BDD via Grafana

• Optimisation des requêtes SQL et lecture des plans d'exécution

• MySQL Server

• Postgres

• Apache Airflow

• Apache Spark

• Trino requetage SQL ⋅ HiveMetastore

• MINIO OBJECT STORE (similar à AWS S3)

• OS: Windows, UNIX

• Ordonnanceur : Airflow

• Outils de ticketing: Jira, Darwin, ITSM

Objectifs : Gestion de deux plateformes décisionnelles (Talend et SAP BI4). Ma mission avait pour objectif de réaliser la maintenance et les différentes évolutions sur la plateforme Talend et SAP BI4.

• Administration de la plateforme Talend via la TAC et SAP BI4 via CMC

• Suivi de l'état des services de la plateforme (saturation, redémarrage, suivi de prod, etc.)

• Support Utilisateurs et animation des ateliers de travails (MOE Talend) – 380 utilisateurs

• Support Utilisateurs SAP BI4 (MOE, MOA) – 1000 utilisateurs

• Gestion des incidents (ITSM), demandes MOA, MOA (Jira)

• Participation à la mise en place de la chaine CI/CD via Jenkins et Ansible

• Echanger régulier avec les éditeurs sur les différentes sujets complexes

• Participation à la migration des projets Talend 5.3 vers 7.3 et 8.0

• Suivi d'activité du server BDD via Grafana

• Optimisation des requêtes SQL et lecture des plans d'exécution

• Optimisation des procédures stockées

• Partitionnement des tables Suivi des performances (KPI), reporting et analyses les données (DigDash)

• SQL Server 2014

• Java 8, 11 & 17

• Talend Integration Suite 5.3 & 7.3

• API DigDash

• Business Objects 4.2

• Tableau Software

• OS: Windows, UNIX

• Ordonnanceur: Control_M

• Outils de ticketing: Jira, Darwin, ITSM

• DevOps: Jenkins, Bitbucket, GitHub, CI/CD

Contexte : Application à destination de l’ensemble des collaborateurs du groupe BNP (au niveau international)

2 finalités :

- Mettre à disposition des collaborateurs de formations (présentiel, e-learning,) en fonction de leur profil et des données collectées

- Publication des offres de postes (mobilité internes) à destination de publics ciblés en fonction de leur profil (fonction, zone géographique, niv d'expérience, tec.)

Ma présence au sein de l'équipe Data était axée sur plusieurs aspects.

- Collecte, analyse et interprétation des ensembles des données pour fournir des informations exploitables au Métier.

- Gestion et l'amélioration de la qualité des données, le développement de pipelines ETL pour assurer la cohérence des données et permettre aux Data Scientists de réaliser des rapports et tableaux de bord, dans le but de faciliter la prise de décision.

• Acquisition et stockage de flux de données par transferts CFT

• Développement, déploiement et monitoring des solutions Big Data pour le métier RH (Hadoop, Spark-scala, Hive, Dataiku)

• Vérification et évaluation des workflow

• Création de scripts de matching entre les collaborateurs et les offres d’emploi et formation

• Construction et delivery des projets dans DataHub, DataLake et Dataviz

• Mise en place des nouveaux flux de données et création de scripts d’ingestion de données

• Ingestion d'une variété de sources de données et indexation avec Solr

• Mise en place des versioning des composants (Spark, HDP, JRE)

• Suivi et réalisation des mises en production avec les équipes de production

• Participation à l’enrichissement de la documentation technique

• Mise en œuvre des actions correctives à court et moyen terme

• Participation à la migration de HDP 2.6 vers CDP 7.

• Horton Works HDP 2.6 (Ambari, Ranger, Hadoop, Hue) migration vers CDP v.7

• DevOps Platform CI/CD, Spark-Scala, GitLab, HQL, Dataiku