Spark – Traitement de données
Objectifs
Cette formation permet de :
- Mettre en œuvre Spark pour optimiser des calculs.
- Envisager l’intégration Hadoop
- Traiter de données structurés avec Spark SQL
- Identifier le principe de fonctionnement de stream processing ..
Programme
Introduction
- Présentation Spark, origine du projt
- Apports, principe de fonctionnement
- Langages supportés
Premiers pas
- Utilisation du shell Spark avec Scala ou Python
- Gestion du cache
Règles de développement
- Mise en pratique en Java et Python
- Notion de contexte Spark
- Différentes méthodes de création des RDD: depuis un fichier texte, un stockage externe.
- Manipulations sur les RDD (Resilient Distributed Dataset)
- Fonctions, gestion de la persistence
Cluster
- Différents cluster managers : Spark en autonome, avec Mesos, avec Yarn, avec Amazon EC2
- Architecture : SparkContext,Cluster Manager, Executor sur chaque noeud.
- Définitions : Driver program, Cluster manager, deploy mode, Executor, Task, Job
- Mise en oeuvre avec Spark et Amazon EC2
- Soumission de jobs, supervision depuis l’interface web
Intégration hadoop
- Travaux pratiques avec YARN
- Création et exploitation d’un cluster Spark/YARN.
Support Cassandra
- Description rapide de l’architecture Cassandr
- Mise en œuvre depuis Spark.
- Exécution de travaux Spark s’appuyant sur une grappe Cassandra.
Spark SQL
- Optimisation des requêtes.
- Mise en œuvre de Spark SQL.
- Comptabilité Hive
- Travaux pratiques : en ligne de commande avec Spark SQL, avec un pilote JDBC.
- L’API Dataset : disponible avec Scala ou Java.
- Collections de données distribuées.
Streaming
- Source de données : HDFS, Flume, Kafka, …
- Notion de Streaming
- Contexte, Dstreams, démonstrations
- Travaux pratiques : traitement de flux Dstreams en Java.
Mlib
- Fonctionnalités : Machine Learning avec Spark, algorithmes standards, gestion de la persistence, statistiques.
- Support de RDD.
- Mise en oeuvre avec les DataFrames.
GraphX
- Fourniture d’algorithmes, d’opérateurs simplepour des calcul statistiques sur les graphes
- Travaux pratiques : exemples d’opérations sur les graphes.
MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS
Modalités pédagogiques :
- Évaluation des besoins et du profil des participants.
- Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
- Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
- Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
- Méthodes expositive, active et participative.
- Réflexion et échanges sur cas pratiques.
- Retours d'expériences.
- Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.
Éléments matériels :
- Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
- Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.
Référent pédagogique et formateur :
- Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
- Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.
MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS
- Feuilles de présences signées des participants et du formateur par demi-journée.
- Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.
Please login to get access to the quiz
Back to Data Analyse
