Data engineer senior / expert (lakehouse aws) : spark, aws

Date et heure de dépôt : 05/10/2026 16:38:10

Catégorie technique principale : BI / Data

Référence : 224423

ASAP
12 mois
550 € HT / jour
ile de France (Hybride)

COMPÉTENCES EXIGÉES

Spark

Expert

AWS

Expert

Python

Expert

Big Data

Expert

Descriptif de la mission

Dans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer Senior / Expert pour concevoir, industrialiser et faire évoluer des pipelines de données à grande échelle, au sein d’une architecture Lakehouse hébergée sur AWS.

Missions :
- Concevoir, développer et optimiser des pipelines de données à grande échelle.
- Mettre en œuvre des flux batch, streaming et d'ingestion via API.
- Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold).
- Développer et industrialiser les traitements avec DBT, Spark et Iceberg.
- Contribuer à l'évolution de l'architecture Lakehouse.

Responsabilités
- Déployer et maintenir les pipelines dans un environnement cloud AWS.
- Orchestrer les workflows ETL/ELT avec Airflow.
- Mettre en œuvre l'Infrastructure as Code avec Terraform.
- Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).
- Garantir la disponibilité, la supervision et l'observabilité des traitements, participer à la gestion des incidents et à l'amélioration continue.
- Définir et appliquer les règles de qualité des données (tests, validation, contrôles automatisés).
- Documenter les architectures, les pipelines et les règles métier.
- Garantir la conformité des flux, notamment au RGPD.

Profil recherché :
- 8 ans minimum d'expérience en Data Engineering (plus de 10 ans pour le niveau Expert).
- Maîtrise avancée des architectures Big Data et Lakehouse.
Expertise réelle sur Spark, DBT, Iceberg, AWS (Glue, EMR, S3) et Terraform.
- Connaissance de Trino/Starburst et Datadog appréciée.
- Forte capacité d'analyse et de compréhension des enjeux métiers.
- Rigueur, autonomie et culture de l'amélioration continue.

Environnement Technique

Airflow

AWS

Docker

Kubernetes

Python

Terraform

DBT

Datadog

Société

CETTE MISSION A RETENU VOTRE ATTENTION ?

Je m'inscris

Accès limité aux fonctionnalités

Déjà membre ?

Me connecter

Cette mission ne correspond pas à votre profil ?

Activez votre visibilité !

Des dizaines d’ESN consultent chaque jour les profils disponibles pour leurs nouveaux projets.

Dès demain, votre annonce sera partagée aux 10 000 commerciaux utilisateurs d'Hitechpros.

Ne laissez pas passer votre prochaine opportunité !

Pensez à signer votre convention dès votre premier rendez-vous.