Hadoop Développement MapReduce
Objectifs
- Comprendre les techniques de développement avec MapReduce dans l’environnement Hadoop.
- Connaître les principes du framework Hadoop et savoir utiliser la technologie MapReduce pour paralléliser des calculs sur des volumes importants de données.
Programme
Introduction
- Les fonctionnalités du framework Hadoop
- Le projet et les modules : Hadoop Common, HDFS, YARN, Spark, MapReduce
- Utilisation de yarn pour piloter les jobs mapreduce.
MapReduce
- Principe et objectifs du modèle de programmation MapReduce.
- Fonctions map() et reduce(). Couples (clés, valeurs).
- Implémentation par le framework Hadoop.
- Etude de la collection d’exemples.
- Travaux pratiques : Rédaction d’un premier programme et exécution avec Hadoop.
Programmation
- Configuration des jobs, notion de configuration.
- Les interfaces principales : mapper, reducer,
- La chaîne de production : entrées, input splits, mapper, combiner, shuffle/sort, reducer, sortie.
- partitioner, outputcollector, codecs, compresseurs..
- Format des entrées et sorties d’un job MapReduce : InputFormat et OutputFormat.
- Travaux pratiques : type personnalisés : création d’un writable spécifique. Utilisation. Contraintes.
Outils complémentaires
- Mise en oeuvre du cache distribué.
- Paramétrage d’un job : ToolRunner, transmission de propriétés.
- Accès à des systèmes externes : S3, hdfs, har, …
- Travaux pratiques : répartition du job sur la ferme au travers de yarn.
Streaming
- Définition du streaming map/reduce.
- Création d’un job map/reduce en python.
- Répartition sur la ferme. Avantage et inconvénients.
- Liaisons avec des systèmes externes.
- Introduction au pont HadoopR
- Travaux pratiques : suivi d’un job en streaming.
Pig
- Présentation des pattern et best practices Map/reduce.
- Introduction à Pig.
- Caractéristiques du langage : latin.
- Travaux pratiques : installation/lancement de pig.
- Ecriture de scripts simples pig. Les fonctions de base.
- Ajouts de fonctions personnalisées. Les UDF. Mise en oeuvre.
Hive
- Simplification du requêtage. Etude de la syntaxe de base.
- Travaux pratiques : Création de tables. Ecriture de requêtes.
- Comparaison pig/hive.
Sécurité en environnement hadoop
- Mécanisme de gestion de l’authentification.
- Travaux pratiques : configuration des ACLs.
MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS
Modalités pédagogiques :
- Évaluation des besoins et du profil des participants.
- Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
- Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
- Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
- Méthodes expositive, active et participative.
- Réflexion et échanges sur cas pratiques.
- Retours d'expériences.
- Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.
Éléments matériels :
- Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
- Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.
Référent pédagogique et formateur :
- Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
- Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.
MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS
- Feuilles de présences signées des participants et du formateur par demi-journée.
- Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.
Please login to get access to the quiz
Back to Apache Hadoop pour Développeurs
