Hadoop – MapReduce pour développeurs
Objectifs
- Connaître Hadoop 2.0 et Hadoop Distributed File System
- Comprendre comment mettre en oeuvre le nouveau Framework YARN dans Hadoop 2.0
- Acquérir les compétences nécessaires pour programmer avec « MapReduce »
- Savoir optimiser une tâche MapReduce en suivant les meilleures pratiques
- Être en mesure de créer des workflows avec Oozie
- Savoir créer et exécuter des requêtes Hive sur des données HDFS
- Créer des tâches MapReduce permettant d’analyser des données avec Pig
- Savoir débugger des programmes « MapReduce » pour les fiabiliser
Programme
1er partie
- Les technologies Hadoop
- Comment fonctionne « Hadoop Distributed File System » et « MapReduce »
- Comment développer des applications « MapReduce »
2ème partie
- Comment réaliser des tests unitaires d’applications MapReduce
- Comment utiliser des combinateurs MapReduce, des partitionners et des caches distribués
- Les meilleures pratiques pour développer et débugger des applications MapReduce
3ème partie
- Comment mettre en oeuvre l’entrée et la sortie des données dans les applications MapReduce
- Les algorithmes pour les principales tâches « MapReduce »
- Comment relier des ensembles de données dans MapReduce
- Comment Hadoop s’intègre dans le Data Center
- Comment utiliser les algorithmes d’apprentissage automatique de Mahout
- Comment Hive et Pig peuvent être utilisés pour développer rapidement des applications
- Comment créer des workflows importants avec Oozie
MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS
Modalités pédagogiques :
- Évaluation des besoins et du profil des participants.
- Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
- Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
- Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
- Méthodes expositive, active et participative.
- Réflexion et échanges sur cas pratiques.
- Retours d'expériences.
- Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.
Éléments matériels :
- Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
- Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.
Référent pédagogique et formateur :
- Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
- Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.
MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS
- Feuilles de présences signées des participants et du formateur par demi-journée.
- Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.
Please login to get access to the quiz
Back to Apache Hadoop pour Développeurs
