Spark Java, développer des applications pour le Big Data

1 - Débutant

21 heures 0 mins

Big Data

Objectifs de la formation

Maîtriser les concepts fondamentaux de Spark
Développer des applications avec Spark Streaming
Mettre en œuvre un cluster Spark
Exploiter des données avec Spark SQL
Avoir une première approche du Machine Learning

Programme de la formation

Présentation d’Apache Spark

Historique du Framework.
Les différentes versions de Spark (Scala, Python et Java).
Comparaison avec l’environnement Apache Hadoop.
Les différents modules de Spark.

Travaux pratiques

Installation et configuration de Spark. Exécution d’un premier exemple avec le comptage de mots.

Programmer avec les Resilient Distributed Dataset (RDD)

Présentation des RDD.
Créer, manipuler et réutiliser des RDD.
Accumulateurs et variables broadcastées.
Utiliser des partitions.

Travaux pratiques

Manipulation de différents Datasets à l’aide de RDD et utilisation de l’API fournie par Spark.

Manipuler des données structurées avec Spark SQL

SQL, DataFrames et Datasets.
Les différents types de sources de données.
Interopérabilité avec les RDD.
Performance de Spark SQL.
JDBC/ODBC server et Spark SQL CLI.

Travaux pratiques

Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.

Spark sur un cluster

Les différents types d’architecture : Standalone, Apache Mesos ou Hadoop YARN.
Configurer un cluster en mode Standalone.
Packager une application avec ses dépendances.
Déployer des applications avec Spark-submit.
Dimensionner un cluster .

Travaux pratiques

Mise en place d’un cluster Spark.

Analyser en temps réel avec Spark Streaming

Principe de fonctionnement.
Présentation des Discretized Streams (DStreams).
Les différents types de sources.
Manipulation de l’API.
Comparaison avec Apache Storm.

Travaux pratiques

Consommation de logs avec Spark Streaming.

Manipuler des graphes avec GraphX

Présentation de GraphX.
Les différentes opérations.
Créer des graphes.
Vertex and Edge RDD.
Présentation de différents algorithmes.

Travaux pratiques

Manipulation de l’API GraphX à travers différents exemples.

Machine Learning avec Spark

Introduction au Machine Learning.
Les différentes classes d’algorithmes.
Présentation de SparkML et MLlib.
Implémentations des différents algorithmes dans MLlib.

Travaux pratiques

Utilisation de SparkML et MLlib.

MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS

Modalités pédagogiques :

Évaluation des besoins et du profil des participants.
Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
Méthodes expositive, active et participative.
Réflexion et échanges sur cas pratiques.
Retours d'expériences.
Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.

Éléments matériels :

Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.

Référent pédagogique et formateur :

Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.

MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS

Feuilles de présences signées des participants et du formateur par demi-journée.
Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.

Please login to get access to the quiz

Back to Big Data

Big Data