Mourad Nasri

o Déploiement d'un cluster cloudera 5.13 dans le cloud GCP

• Création des templates d'instances compute engine VM à utiliser pour les machines du cluster

• Provisionning des compute engine VMs pour déployer les serveurs

• Provisionning des ressources de stockage (SSD vs HDD) et de processing au niveau des compute engine VM

• Définition de l'architecture et des ressources du cluster en fonction des besoins du client et des workloads à mettre en place

• Setup du repository yum en local

• Installation cloudera manager et cloudera management services

• Installation et configuration de zookeeper

• Installation et configuration des services HDFS/YARN(MRV2)

• Définir la stratégie de scheduling yarn et création des yarnn queues correspondantes à chaque projet

• Installation et configuration des database enines Hive et impala

• Installation et configuration des composants de l'écosystéme hadoop (Hue, pig, oozie)

• Configuration de la HDFS et yarn High availability

• Sécuristaion du cluster : Configuration des ACLs HDFS, installer et configurer Sentry, configuration de l'authentification et l'autorisation des utilisateurs Hue, activation de Kerberos o Migration d'une plateforme de BI traditionnelle vers le cloud GCP

• Mise en place d'une hierarchie de stockage effective et low cost pour le traitement des données standard (hot data), nearline et données d'archives

• Construction d'une data engineering pipeline basée sur cloud data fusion

• Analyse interactive des données avec wrangler

• create VPC networks and other networking objects

•

• Projets Métiers: o Certification Comptable : Mise en place d'une plateforme Big Data d'un process de contrôle de certification comptable. o Automatisation de la Revue Analytique : Mise en place d'un process de revue analytique des soldes et flux à la société générale o Gestion des écritures manuelles : Mise en place d'un process de contrôle et validation des écritures manuelles.

• Taches techniques: o Développement des jobs Talend Big Data (spark et standard) pour le chargement des données dans le cluster Big Data o Optimisation des jobs Talend Big Data pour garantir une meilleure efficacité par rapport au contexte du développement o Assurer le suivi des best practices Talend Big Data o Développer des scripts scala pour assurer les besoins du projet o Assurer une meilleure utilisation des fonctionnalités du systéme de versionning GIT et du serveur d'artifact nexus o Fine tuning des jobs sparks pour meilleurs performances spark et meilleure utilisation des ressources du cluster o Monitoring des queues yarn dédiées aux projets et faire les actions nécessaires en cas de problème o Alimentation des tables Hive et mettre en place les bonnes caractéristiques (format de données, partitionnement, type…) o Ouverture des routes pour la réception des fichiers à partir des aplications sources vers le cluster big data o Mettre en place les process de vérification de format des données et envoi automatique des alertes en cas de problèmes o Mettre en place la chaine ELK(Elastic search, Logstach, Kafka) pour gérer les logs Talend o Assurer la mise en place de la chaine CICD du projet qui contient les éléments suivants : JENKINS, LDAP, SGITHUB, Talend Studio, Ansible tower, AWX, TAC

o Développer un job sqoop qui copie des données du datalake vers le serveur sql server o Paramètrage du flux TOM qui copie des données du datalake vers le serveur sql server o Développer des jobs SSIS pour implémenter les spécifications mètier dans sql server o Développement du modèle de données approprié au besoin et construction du cube SSAS o Développer les dashboards de restitution power bi

• Taches de coordination o Responsable de la bonne livraison du projet dans les environnements DEV/INT/HOMOL et PROD o Analyser les besoins du projet et corriger les erreurs et apporter des propositions au métier pour améliorer le process o Au niveau projet, identification des risques et proposition des solutions d'anticipation en collaboration avec le chef du projet o Elaborer une stratégie de test globale et s'assurer que les checks sont faits régulièrement o Assurer un reporting hebdomadaire et au besoin avec des rapports pertinents et détaillés o Elaborer au niveau du projet une stratégie de résolution des incidents qui est en ligne avec la stratégie globale de la société et qui assure la réduction des impacts et la transparence dans le reporting o S'assurer que les membres de l'équipe respectent la procédure élaborée au sein de la société o Assister le chef du projet et les business analystes dans le travail de coordination avec le métier et les fournisseurs et les remontées des autres équipes o Développer l'architecture détaillée et valider avec les architectes la solution technique proposée et s'assurer qu'elle satisfait simplement et efficacement les besoins remontés par le métier o Assurer la passation de compétences aux nouveaux recrus et au cours de la réorganisation

Société : Orange Tunisie Date : Septembre 2016 à Juin 2018

• Projet BIG DATA  Mise en place de la distribution cloudera 5.7.4 sous un environnement du développement  Installation et configuration du kerberos avec cloudera 5.7.4  Administration du cluster  Installation et configuration du sentry avec cloudera 5.7.4  Installation et configuration du streamsets avec cloudera 5.7.4  Injection des données avec streamsets dans HDFS, HIVE et système de fichiers local  Configuration d'un agent flume permettant l'import incrémental depuis une base de données oracle vers HDFS  Traitement ,transformations et injections des données Astelia dans hive avec apache pig, apache oozie et hcatalog  outils : Cloudera 5.7.4, Kerberos, Sentry, Streamsets, Flume, Hive

 Import des données structurées de la base de données Oracle vers Hive et Hbase  Manipulation et transformations des données avec Hive.  Cron des workflows avec Oozie  Outils : Cloudera, Hdfs, Hive, Sqoop, Hbase, Oozie, Hadoop, Zookeeper

• Tâches BI :  Préparation et mise en place d'un nouveau flux (INSDP)  Collecte des fichiers ASN.1  Mappage et adaptation du décodeur de fichiers ASN.1  Alimentation des espaces data Warehouse en faisant les transformations nécessaires  Fiabilisation du flux  Outils: Java, ASN.1, PL/SQL, Oracle (10g, 11g), Toad, Talend Entreprise Edition, Talend Open studio.  Contrôle et fiabilisation des différentes sources (IN, MSC, TAP…)  Rédaction des spécifications techniques et fonctionnelles des différentes sources  Préparation des recettes fonctionnelles  Contrôle de la chaine de revenu  Mise en place des alertes pour le contrôle de la plateforme  Participation à un projet d'industrialisation de la plateforme F&RA  Maintenance da la plateforme BI:TAC, JobServer, CLI et Serveur front et serveur Back de Talend  Optimisation des Job talends  Mise en production de nouvelles fonctionnalités Talend  Troubleshot de différents problems remontés par l'équipe BI frontoffice et les équipes métier