Spring Big Data et nouvelles architectures autour de Kafka et du Cloud

28 heures 0 mins

Big Data

Objectifs de la formation

Appréhender le concept de big data
Découvrir Hadoop et Spark
Comprendre l’architecture réactive avec Kafka
Mettre en place un projet sur cloud (AWS)
Maitriser les serverless

Programme de la formation

Les grands concepts et les outils

Évolution des technologies.
Conteneur Docker et virtualisation.
Le cloud.
Le NoSQL.
Le framework Spring.
Le big data.
Hadoop.
Kafka.

Travaux pratiques

Analyse avant conception et mise en œuvre avec Spring

Analyse des user stories.
Modélisation de l’applicatif.
Spring en MVC, des couches à la conception hexagonale.
Création de micro-services Spring à partir du DDD.
Ubiquitous language.
Modèle et Bounded Context.
Pièges à éviter.
Les bonnes pratiques.

Travaux pratiques

Autour d’une problématique métier, nous allons mettre en œuvre le DDD pour pouvoir fabriquer un ensemble de micro-services communiquant entre eux.

L’architecture reactive/asynchrone avec Kafka

Les brokers de messages.
Découvrir Kafka.
Push/pull de données et les producers.
Les consumers et les brokers.
Les topics et les partitions.
Offset et ZooKeeper.
Mise en place de Kafka dans une architecture en micro-service.

Travaux pratiques

Conception d’une architecture réactive avec le broker Kafka reliant les micro-services.

L’architecture applicative et logicielle

Architecture micro-service.
CQRS et Event-sourcing.
Architecture réactive.
Traitement serverless sur cloud.

Travaux pratiques

Analyse et mise en place des précédents exercices et améliorations en présentant les concepts d’architecture.

Big data et creation d’un data lake sur cloud

Architecture et fonctionnement du big data.
Data lake et data mining : concepts.
Présentation des solutions cloud et en dehors du cloud.

Travaux pratiques

Mise en place d’un data lake sur Cloud dans lequel un ensemble de données sera déposé pour être traité par la suite.

Big data et analyse des données avec Hadoop

Concept et outils.
Hadoop : présentation de l’environnement.
Map Reduce.
HDFS et HBase.
Spark : présentation de l’environnement.
Comparatif avec Map Reduce.
Intégration dans Hadoop.
Manipulation des données.

Travaux pratiques

Récupération et analyse des données dans le data lake par une solution Spark Hadoop. Le résultat pourra être ensuite représenté par des graphiques.

MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS

Modalités pédagogiques :

Évaluation des besoins et du profil des participants.
Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
Méthodes expositive, active et participative.
Réflexion et échanges sur cas pratiques.
Retours d'expériences.
Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.

Éléments matériels :

Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.

Référent pédagogique et formateur :

Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.

MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS

Feuilles de présences signées des participants et du formateur par demi-journée.
Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.

Please login to get access to the quiz

Back to Big Data

Big Data