Big Data

Spark Java, développer des applications pour le Big Data

21 heures 0 mins

Big Data

Objectifs de la formation

  • Maîtriser les concepts fondamentaux de Spark
  • Développer des applications avec Spark Streaming
  • Mettre en œuvre un cluster Spark
  • Exploiter des données avec Spark SQL
  • Avoir une première approche du Machine Learning

Programme de la formation

Présentation d’Apache Spark

  • Historique du Framework.
  • Les différentes versions de Spark (Scala, Python et Java).
  • Comparaison avec l’environnement Apache Hadoop.
  • Les différents modules de Spark.

Travaux pratiques

Installation et configuration de Spark. Exécution d’un premier exemple avec le comptage de mots.

Programmer avec les Resilient Distributed Dataset (RDD)

  • Présentation des RDD.
  • Créer, manipuler et réutiliser des RDD.
  • Accumulateurs et variables broadcastées.
  • Utiliser des partitions.

Travaux pratiques

Manipulation de différents Datasets à l’aide de RDD et utilisation de l’API fournie par Spark.

Manipuler des données structurées avec Spark SQL

  • SQL, DataFrames et Datasets.
  • Les différents types de sources de données.
  • Interopérabilité avec les RDD.
  • Performance de Spark SQL.
  • JDBC/ODBC server et Spark SQL CLI.

Travaux pratiques

Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.

Spark sur un cluster

  • Les différents types d’architecture : Standalone, Apache Mesos ou Hadoop YARN.
  • Configurer un cluster en mode Standalone.
  • Packager une application avec ses dépendances.
  • Déployer des applications avec Spark-submit.
  • Dimensionner un cluster .

Travaux pratiques

Mise en place d’un cluster Spark.

Analyser en temps réel avec Spark Streaming

  • Principe de fonctionnement.
  • Présentation des Discretized Streams (DStreams).
  • Les différents types de sources.
  • Manipulation de l’API.
  • Comparaison avec Apache Storm.

Travaux pratiques

Consommation de logs avec Spark Streaming.

Manipuler des graphes avec GraphX

  • Présentation de GraphX.
  • Les différentes opérations.
  • Créer des graphes.
  • Vertex and Edge RDD.
  • Présentation de différents algorithmes.

Travaux pratiques

Manipulation de l’API GraphX à travers différents exemples.

Machine Learning avec Spark

  • Introduction au Machine Learning.
  • Les différentes classes d’algorithmes.
  • Présentation de SparkML et MLlib.
  • Implémentations des différents algorithmes dans MLlib.

Travaux pratiques

Utilisation de SparkML et MLlib.

MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS

Modalités pédagogiques :

  • Évaluation des besoins et du profil des participants.
  • Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
  • Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
  • Méthodes expositive, active et participative.
  • Réflexion et échanges sur cas pratiques.
  • Retours d'expériences.
  • Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.

Modalités d’évaluation :

  • Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.

Éléments matériels :

  • Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
  • Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.

Référent pédagogique et formateur :

  • Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
  • Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.
MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS
  • Feuilles de présences signées des participants et du formateur par demi-journée.
  • Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.
Please login to get access to the quiz
Spark Python, développer des applications pour le big data (Prev Lesson)
(Next Lesson) Big Data, synthèse technique
Back to Big Data
Public

Chefs de projet, data scientists, développeurs, architectes.

Pré-requis

Bonnes connaissances du langage Java. Connaissances en Big Data.

Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en effectuant le test disponible en bas de cette page.

Lieu de formation

Intra-entreprise/à distance

Dates ou période

À définir. Nous consulter

Tarif

Sur devis. Merci de nous contacter

Modalités

Pour s’inscrire à notre formation, veuillez nous contacter par mail ou téléphone.

Démarrage de la formation sous deux semaines (délai indicatif).

Nous contacer
training@profind.fr
Assistance technique

Une assistance technique et pédagogique est mise à disposition tout au long du parcours de formation. En cas de difficulté liée à l’utilisation des outils de visioconférence, à l’accès aux ressources nécessaires aux travaux pratiques ou au suivi de la formation, notre équipe est joignable par téléphone ou par e-mail afin de vous apporter une réponse dans les meilleurs délais.

Informations complémentaires

Pour toute réclamation, aléas ou difficultés rencontrés pendant la formation, veuillez prendre contact avec notre organisme par téléphone ou par e-mail. Nous mettrons tout en œuvre pour trouver une solution adaptée.

Formation synchrone, réalisée à distance en visioconférence via l’application Microsoft Teams ou en présentiel dans les locaux du client.

Accessibilité handicap

Notre organisme de formation s’engage à favoriser l’accès à ses formations aux personnes en situation de handicap. Nous analysons les besoins spécifiques de chaque participant en amont de la formation afin de mettre en place les adaptations pédagogiques, techniques ou organisationnelles compatibles avec le déroulement de l’action de formation.

Sur le même thème