Descriptif de la mission :

Consultant HBase / AWS EMR


Localisation : Nanterre (92)
Télétravail : 50 %
Démarrage : ASAP
Durée : Longue durée
Nombre de postes : Plusieurs ouvertures

Contexte

Dans le cadre du renforcement de ses équipes Data Platforms, notre client recherche plusieurs consultants HBase afin d'intervenir sur des plateformes Big Data critiques hébergées dans AWS.

Les consultants rejoindront une équipe en charge de l'exploitation, de l'optimisation et de la fiabilisation d'environnements HBase exécutés sur AWS Elastic MapReduce (EMR).

L'objectif principal est de garantir la stabilité, la performance et la disponibilité des plateformes tout en accompagnant les équipes sur les problématiques de capacité, de tuning et d'amélioration continue.

MissionsRUN et exploitation HBase

Assurer le maintien en condition opérationnelle des plateformes HBase
Participer à l'exploitation quotidienne des clusters
Analyser et résoudre les incidents de production
Participer aux activités de support de niveau 2 et 3
Assurer le suivi des traitements et des performances des plateformes
Performance et optimisation

Identifier les goulots d'étranglement et les problèmes de performance
Réaliser les analyses de capacité et les études de montée en charge
Optimiser les temps de réponse et les performances globales des clusters
Participer à l'amélioration continue des architectures existantes
Analyser les métriques système et applicatives
Administration HBase

Administrer et maintenir les environnements HBase
Participer aux opérations de maintenance des clusters
Gérer les problématiques liées aux Region Servers
Analyser les problématiques de compaction
Optimiser les stratégies de stockage et d'accès aux données
Participer à la gestion de la volumétrie et de la croissance des données
Réaliser et superviser les opérations de Major Compaction et Minor Compaction
Participer à l'optimisation des performances liées aux HFiles, WAL, MemStore et Region Splits
Environnement techniqueBig Data

Apache HBase
HDFS
ZooKeeper
Cloud

AWS
Elastic MapReduce (EMR)
Systèmes

Linux
Monitoring & Exploitation

Supervision des clusters
Analyse de performances
Troubleshooting
Compétences recherchéesIndispensables

Bonne maîtrise de HBase
Expérience en environnement de production
AWS EMR (Elastic MapReduce)
Analyse de performances
Troubleshooting
RUN critique
Capacity Planning
Linux
Connaissances HBase valorisées

Region Servers
HMaster
Compactions
Major Compaction
Minor Compaction
Gestion des HFiles
WAL (Write Ahead Log)
MemStore
Region Split
Hot Regions
Optimisation des lectures/écritures
Répartition de charge
Tuning HBase
Gestion de la volumétrie
Profil recherché

Nous recherchons un consultant disposant d'une expérience significative sur des environnements HBase en production.

Le consultant devra être capable d'intervenir sur des problématiques de RUN, de performance, de capacité et de fiabilité des plateformes, tout en étant force de proposition sur les améliorations techniques et les optimisations à mettre en œuvre.

Une expérience sur AWS EMR ainsi qu'une bonne compréhension de l'écosystème Hadoop seront particulièrement appréciées.

Environnement Technique

AWS

HBase

elastic map reduce