Descriptif de la mission :

Contexte de la mission
Nous recherchons un développeur Big Data pour accompagner une migration de Teradata vers Hadoop Cloudera. Ce projet ambitieux nécessite des compétences techniques pointues ainsi qu'une capacité à s'adapter rapidement aux défis d'une migration complexe.

Missions principales
Participer à la migration de données et de traitements de Teradata vers Hadoop Cloudera.
Concevoir, développer et optimiser des pipelines de données (ELT) adaptés aux nouvelles architectures.
Développer des scripts Shell pour automatiser les traitements et les flux de données.
Exploiter Apache Spark pour le traitement des données massives.
Collaborer avec les équipes projet pour garantir la bonne exécution de la migration.
Documenter les processus et les solutions mises en œuvre.

Compétences requises :
Maitrise des outils ELT et des workflows de gestion des données.
Expérience en développement Spark pour le traitement et la manipulation de données massives.
Compétences en scripting Shell (Bash, Linux) pour automatiser les tâches.
Connaissance de Teradata ou Hadoop Cloudera.
Une expérience préalable sur des projets de migration de données serait un véritable atout.
Profil recherché
Vous disposez de 3 ans d’expérience dans le domaine du Big Data ou en développement de données.
Vous êtes rigoureux(se), autonome et doté(e) d’une capacité d’adaptation rapide.
Vous avez un bon esprit d’équipe et des compétences en communication pour travailler efficacement avec les autres membres du projet.

Environnement Technique

Shell

Spark

ELT