Descriptif de la mission

Notre Client recherche pour cette mission un Data Engineer.


Les tâches au quotidien seront :


- Définir et analyser les structures de données
- Concevoir, construire et gérer des pipelines ETL (Extraction, Transformation, Chargement) qui ingèrent des données brutes provenant de diverses sources, les transforment et les chargent dans des entrepôts ou des lacs de données
- Concevoir et gérer des solutions de stockage, telles que les entrepôts de données (Amazon Redshift), entrepôts de données (AWS S3 avec Databricks) ou bases de données NoSQL
- Travailler en étroite collaboration avec les data scientists, les analystes et les équipes commerciales pour comprendre les données besoins, recueillir les exigences
- Garantir la fiabilité de la production (surveillance, alerte et intervention selon les besoins)
- Expérimenter les technologies de données émergentes et les meilleures pratiques pour améliorer l'infrastructure de données et l'efficacité des flux de travail


Les compétences requises pour cette mission sont :


- Justifier d'au moins 5 ans d'expérience professionnelle dans ce domaine
- Avoir une expertise avancée en Python est essentielle, ainsi que de solides compétences en Java (Spring Boot), et la connaissance de Scala est un atout
- Avoir une excellente connaissance des processus ETL et des pipelines de données
- Avoir une bonne expérience pratique de la création, de la gestion et de l'optimisation des flux de données sur Databricks, y compris l'utilisation de Spark pour le traitement de données à grande échelle
- Avoir de l'expérience en solutions de stockage (stockage objet / bases de données relationnelles / NoSQL)
- Avoir une bonne connaissance avec le Cloud AWS

Environnement technique de la prestation

Python, java springboot, Scala
ETL, pipeline de données, Databricks
AWS, NoSQL, AWS, SPark
Aglie Safe