Aomer B.

En tant que Cloud Data Engineer à la Certification Factory de la Société Générale, j'ai œuvré à fournir des solutions de data engineering dans la gestion des risques de crédit. Mes principales responsabilités comprenaient :

- Étude, implémentation et déploiement automatisé de pipelines de données sur AWS.

- Développement de nouvelles fonctionnalités pour la collecte et la migration des données et implémentation des règles de gestion.

- Proposition de solutions innovantes en Big Data et optimisation des jobs existants.

- Conception et développement de nouveaux jobs ETL en utilisant AWS Glue.

- Orchestration des flux de traitement grâce au service AWS Step Functions

- Préparation des tests unitaires, couverture, qualité et revue de code.

- Évaluation de nouvelles solutions cloud et migration des jobs existants vers Databricks

- Participation en tant que spécialiste de l'équipe aux entretiens techniques d'embauche chez le client pour le recrutement de nouveaux Data Engineers.

- Architecture et mise en place du pipeline de données.

- Développement d'outils et deamon linux permettant le monitoring en temps-réel des ressources hardware, logs et fichiers de mesures.

- Création d'une API Gateway (avec FastAPI) pour administration, sécurisation et orchestration des services.

- Streaming de données avec Kafka et implémentation des Jobs Spark pour la préparation, nettoyage et chargement vers la base de données d'analyse.

- Préparation des datasets et labelisation de données.

- Fine-tuning et serving des models NLP (pegasus et bert) pour la detection d'anomalie et des root-causes dans les logs.

- Dashboarding temps réel sur Grafana.

- Architecture et développement logiciel from scratch.

- Développement d’outils de simulation mathématique et d’analyse de données pour la

supervision OTDR en Python.

- Automatisation par script bash des différents process.

- Développement et packaging de la séquence de boot (bootloader, Linux, rootfs).

- Intégration logiciel et génération des RPM.