Apache Hadoop pour Administrateurs

Objectifs

Cette formation Hadoop – Cloudera pour architectes et administrateurs vous permettra de savoir :

• Comment élaborer une architecture Hadoop
• Comment Hadoop Distributed File System (HDFS) et YARN/MapReduce fonctionnent
• Comment exploiter et gérer un cluster Hadoop
• Comment configurer Hadoop et ses outils
• Comment mettre en œuvre un cluster Hadoop
• Comment gérer la maintenance des nœuds dans un cluster
• Comment déplacer et gérer les données dans un cluster
• Comment administrer un cluster Hadoop

Programme

INTRODUCTION

• Présentation générale d’Hadoop
• Exemples d’utilisation dans différents secteurs
• Historique et chiffres clés : Quand parle-t-on de Big Data ?
• Les possibilités d’implantation de l’infrastructure et les coûts associés

L’ECOSYSTEME D’HADOOP

• Le système de fichier HDFS
• Le paradigme MapReduce et l’utilisation à travers YARN
• Le garant des informations : Zookeeper
• Le système de stockage de la donnée basé sur le socle : HBase
• La présentation de l’architecture globale : où installer les services ?
• La définition du dimensionnement pour un cluster Hadoop
• Les particularités de MapR

INSTALLATION DU SOCLE D’HADOOP

• Installation et configuration manuelle pas-à-pas sur plusieurs machines de : HDFS, YARN, Zookeeper, HBase

MANIPULATION DES DONNEES DANS UN CLUSTER HADOOP

• Architecture, Objectif et fonctionnement de : Hue, Hive, Pig, Oozie, Sqoop, Flume, Spark
• Mise en pratique sur les différents outils

EXPLOITATION D’UN CLUSTER HADOOP

• Architecture, objectif et fonctionnement du Manager : MapR Control System
• Mise en pratique

CONCEPTS D’ARCHITECTURE COMPLEXE

• Architecture en rack : les avantages et fonctionnement et paramétrage du rack awareness
• Scalabilité et performances : le Namenode Federation
• High Availability des serveurs maitres
• Utilisation des snapshots : sauvegarde et restauration