Objectifs de la formation

• Vue d'ensemble de l’écosystème Big Data
• Présentation de Apache NiFi
• Utilisation des processeurs
• Utilisation avancée
• Composants de NIFI

---

Programme de la formation

Vue d'ensemble de l’écosystème Big Data

• Architecture HDFS et MapReduce
• Apache NiFi en producteur de données
• Apache NiFi en consommateur de données
• Pourquoi intégrer NiFi avec Kafka ?

Présentation de Apache NiFi

• Présentation d'Apache NiFi
• Comprendre le traitement des flux de données
• Architecture d'Apache NiFi
• Processeurs et flow files
• Connecteurs et processeurs
• Comprendre l'UI
• Classes de processeurs
• Installation et configuration du programme
• Gestion du parallélisme dans un cluster NiFi

Utilisation des processeurs

• Générateur FlowFile
• Lecture et traitement des fichiers de données
• Utilisation de SplitRecord
• Utilisation de UpdateRecordProcessor
• Traitement de la duplication des fichiers
  • Processeurs liés à JSON
  • InvokeHTTP
  • EvaluateJsonPath
  • FlattenJson
  • SplitJson

Utilisation avancée

• Traitement des doublons
• Utilisation de SQL Query dans NiFi
• Processeur NiFi HandleHttpRequest et HandleHttpResponse
• Templates NiFi
• Surveillance de NiFi
• Provenance des données et recherche d'événements
• Relations avec les processeurs
• Debugging et gestion des erreurs
• Utiliser MiniFi pour gérer les IOTs

Composants de NIFI

• NiFi Registry
• Versioning du flow dans NiFi
• Schéma Registry
• Simplification de l'intégration avec des schémas de données