Apache Hadoop pour Développeurs

Objectifs

• Connaître Hadoop 2.0 et Hadoop Distributed File System
• Comprendre comment mettre en oeuvre le nouveau Framework YARN dans Hadoop 2.0
• Acquérir les compétences nécessaires pour programmer avec « MapReduce »
• Savoir optimiser une tâche MapReduce en suivant les meilleures pratiques
• Être en mesure de créer des workflows avec Oozie
• Savoir créer et exécuter des requêtes Hive sur des données HDFS
• Créer des tâches MapReduce permettant d’analyser des données avec Pig
• Savoir débugger des programmes « MapReduce » pour les fiabiliser

Programme

1er partie

• Les technologies Hadoop
• Comment fonctionne « Hadoop Distributed File System » et « MapReduce »
• Comment développer des applications "MapReduce"

2ème partie

• Comment réaliser des tests unitaires d'applications MapReduce
• Comment utiliser des combinateurs MapReduce, des partitionners et des caches distribués
• Les meilleures pratiques pour développer et débugger des applications MapReduce

3ème partie

• Comment mettre en oeuvre l'entrée et la sortie des données dans les applications MapReduce
• Les algorithmes pour les principales tâches "MapReduce"
• Comment relier des ensembles de données dans MapReduce
• Comment Hadoop s'intègre dans le Data Center
• Comment utiliser les algorithmes d'apprentissage automatique de Mahout
• Comment Hive et Pig peuvent être utilisés pour développer rapidement des applications
• Comment créer des workflows importants avec Oozie