Harraki Inas

▪ Modernisation des processus d'ingestion de données, nous avons standardisé toutes les ingestions de fichiers et, en utilisant Azure + Databricks, nous avons pu faire évoluer les processus d'ingestion.

▪ Création de pipelines dans Synapse pour ingérer des données provenant de différentes sources (CSV, Parquet, MongoDB, etc.).

Migration des jobs Talend vers le Data Lake de NuInvest ;

▪ Optimisations du pipeline de données existant pour un meilleur temps d'exécution et de meilleures performances.

▪ Surveillance dans l'environnement hérité, prise en charge des buges et des erreurs d'exécution ;

Ecosystème : Azure, Hadoop Cloudera, Scala, Spark, Hive, Oozie, SQL, Github, Shell Scripting, une équipe de 8 Data Engineers et Business Analysts

▪ Conception et Développement de l’application CPROFIT (profitabilité des clients stratégiques et performances des sales) au sein de l’entité GBSU/CLD/DCI (Application Mise en PROD)

▪ Transcription du Dataware House legacy d’un environnement Base des données/SQL vers une application distribuée Spark/Scala traitant une centaine de Go de données (Passage d’un service à plantage récurrent nécessitant plus de 8h de traitement à un service sûre à 98% en moins de 3h)

▪ Développement à l’aide de BDD résultant une application sans aucun bug fonctionnel ou technique.

▪ Optimisations des traitements existants pour un meilleur temps d’exécution et de performance.

▪ Refonte de la chaine CI/CD avec Jenkins

▪ Refonte du scheduleur à l’aide d’AirFlow

▪ Développement d’un Poc pour la création d’un cluster à la dmenade avec les outils internes SG avec Ansible et Terraform

Environnement: Hadoop Cloudera, Scala, Spark, Hive, Oozie, SQL, Github, Airflow, Shell Scripting, Jenkins, Terraform, Ansible, équipe de 5 Data Engineer et un Business Analyst

▪ Rédaction des spécification techniques de la transformation des flux ETL/Business Intelligence vers un traitement de données distribué avec Spark sur un environnement Hadoop à partir des spécification fonctionnelles existantes.

▪ Rédaction des spécifications fonctionnelles et techniques de nouveaux services sur Hadoop avec Spark.

▪ Déversement des données brutes dans le DATALACK.

▪ Développement des traitements de données distribué avec Core Spark et Spark SQL sous Scala.

▪ Optimisations des traitements existants.