Apache NiFi, gérer vos flux de données
Objectifs de la formation
- Vue d’ensemble de l’écosystème Big Data
- Présentation de Apache NiFi
- Utilisation des processeurs
- Utilisation avancée
- Composants de NIFI
Programme de la formation
Vue d’ensemble de l’écosystème Big Data
- Architecture HDFS et MapReduce
- Apache NiFi en producteur de données
- Apache NiFi en consommateur de données
- Pourquoi intégrer NiFi avec Kafka ?
Présentation de Apache NiFi
- Présentation d’Apache NiFi
- Comprendre le traitement des flux de données
- Architecture d’Apache NiFi
- Processeurs et flow files
- Connecteurs et processeurs
- Comprendre l’UI
- Classes de processeurs
- Installation et configuration du programme
- Gestion du parallélisme dans un cluster NiFi
Utilisation des processeurs
- Générateur FlowFile
- Lecture et traitement des fichiers de données
- Utilisation de SplitRecord
- Utilisation de UpdateRecordProcessor
- Traitement de la duplication des fichiers
Utilisation avancée
- Traitement des doublons
- Utilisation de SQL Query dans NiFi
- Processeur NiFi HandleHttpRequest et HandleHttpResponse
- Templates NiFi
- Surveillance de NiFi
- Provenance des données et recherche d’événements
- Relations avec les processeurs
- Debugging et gestion des erreurs
- Utiliser MiniFi pour gérer les IOTs
Composants de NIFI
- NiFi Registry
- Versioning du flow dans NiFi
- Schéma Registry
- Simplification de l’intégration avec des schémas de données
MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS
Modalités pédagogiques :
- Évaluation des besoins et du profil des participants.
- Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
- Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
- Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
- Méthodes expositive, active et participative.
- Réflexion et échanges sur cas pratiques.
- Retours d'expériences.
- Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.
Éléments matériels :
- Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
- Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.
Référent pédagogique et formateur :
- Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
- Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.
MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS
- Feuilles de présences signées des participants et du formateur par demi-journée.
- Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.
Please login to get access to the quiz
Back to Big Data
