Descriptif de la mission :

Votre rôle sera de :
- Concevoir, développer, maintenir et déployer des pipelines de données scalables et performants.
- Mettre en place des architectures Big Data sur AWS (S3, EMR, Lambda, Snowflake...).
- Développer en Scala et exploiter Apache Spark pour le traitement massif des données.
- Automatiser les workflows avec Apache Airflow et DBT pour orchestrer les pipelines.
- Concevoir et exposer des APIs performantes pour servir les recommandations en temps réel (Scala, Saprk, Terraform, Gitlab CI CD, ECS Fargate, Kinesis, DynamoDB, S3, etc.).
- Optimiser les performances et garantir la scalabilité du système pour gérer un grand volume d'utilisateurs.
- Travailler en collaboration avec les équipes Data Science, Produit et DevOps pour assurer une intégration fluide.

Compétences et qualités attendues :

- Vous justifiez d'une expérience de 5 ans minimum ans un environnement similaire
- ??Vous maîtrisez AWS, Gitlab CI/CD, Terraform, vous êtes fluent en Scala et Spark avancé et aimez les challenges
- Vous etes un expert dans le développement de solution d'intégration de données
- Vous parlez Anglais couramment
- Vous connaissez et maîtrisez les outils JIRA et les méthodes « agiles » n'ont pas de secret pour vous !
- Autonome, ouvert d'esprit et bon communiquant, vous disposez d'une grande curiosité scientifique,...

****L'eco-systeme technique peut être synthétisé comme suit :
AWS (LAMBDA, EMR SERVERLESS, KINESIS STREAM, FIREHOSE, S3, DYNAMODB), AIRFLOW, SPARK, DBT, SCALA, PYTHON, SNOWFLAKE, GITLAB CI/CD, TERRAFORM, AI..
Mission : longue durée

Environnement Technique

Airflow

AWS

GitLab

Python

Scala

Snowflake

Spark

Terraform

LAMBDA

EMR

KINESIS

STREAM

FIREHOSE

DYNAMODB

DBT