Spark Python, développer des applications pour le big data

1 - Débutant

21 heures 0 mins

Big Data

Objectifs de la formation

Découvrir les concepts fondamentaux de Spark
Utiliser le concept des RDD de Spark
Exploiter des données avec Spark SQL
Effectuer de l’analyse en temps réel avec Spark Streaming
Utiliser Spark avec les notebooks Jupyter, manipuler les données avec Pyspark comme avec Pandas
Aborder le machine learning avec Spark

Programme de la formation

Présentation d’Apache Spark

Historique du framework.
Les quatre principaux composants : Spark SQL, Spark Streaming, MLlib et GraphX.
Les outils et les librairies Python pour Spark : PySpark, notebooks Jupyter, Koalas.
Les concepts de programmation de Spark.
Exécuter Spark dans un environnement distribué.

Travaux pratiques

Mise en place de l’environnement Python pour Spark. Mise en œuvre de scripts manipulant des concepts de Spark.

Utiliser Spark avec Python : les resilient distributed datasets (RDD)

Configurer son environnement Python.
Se connecter à Spark avec Python : les contextes et les sessions.
Présentation des RDD. Créer, manipuler et réutiliser des RDD.
Les principales fonctions/transformations, mise en œuvre d’algorithmes de type map/reduce.
Accumulateurs et variables broadcastées.
Utiliser des partitions.
Utiliser les notebooks et soumettre des jobs Python.

Travaux pratiques

Manipulation de contextes et de sessions. Création et réutilisation de RDD. Soumission de travaux.

Manipuler des données structurées

Présentation de Spark SQL et des DataFrames et datasets.
Les différents types/formats de sources de données.
Interopérabilité avec les RDD.
Utiliser la librairie PySpark Pandas.

Travaux pratiques tutorés

Exécution de requêtes avec Spark SQL. Mise en œuvre de DataFrames et datasets. Manipulation de DataFrame.

Machine learning avec Spark

Introduction au machine learning.
Les différentes classes d’algorithmes.
Présentation de MLlib.
Implémentation des différents algorithmes dans MLlib.

Travaux pratiques

Mise en œuvre d’apprentissages supervisés au travers d’une classification.

Analyser en temps réel avec Spark Streaming

Comprendre l’architecture du streaming.
Présentation des Discretized Streams (DStreams).
Les différents types de sources.
Manipulation de l’API (agrégations, watermarking…).
Machine learning en temps réel.

Travaux pratiques

Création de statistiques en temps réel à partir d’une source de données et prédictions à l’aide du machine learning.

Théorie des graphes

Introduction à la théorie des graphes (nœuds, arêtes, graphes orientés, chemins, principaux algorithmes).
Utilisation de l’API.
Présentation des librairies GraphX et GraphFrame.

Travaux pratiques

Mise en œuvre d’un algorithme de recherche du plus court chemin ou page rank et visualisation du graphe.

MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS

Modalités pédagogiques :

Évaluation des besoins et du profil des participants.
Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
Méthodes expositive, active et participative.
Réflexion et échanges sur cas pratiques.
Retours d'expériences.
Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.

Éléments matériels :

Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.

Référent pédagogique et formateur :

Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.

MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS

Feuilles de présences signées des participants et du formateur par demi-journée.
Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.

Please login to get access to the quiz

Back to Big Data

Big Data