Talend

Talend Open Studio for Big Data, exploiter ses données massives

14 heures 0 mins

Talend

Objectifs de la formation

  • Ecrire des données sur HDFS et dans des BDD NoSQL avec des jobs Talend
  • Réaliser des jobs de transformation à l’aide de Pig et Hive
  • Utiliser Sqoop pour faciliter la migration de bases de données relationnelles dans Hadoop
  • Adopter des bonnes pratiques et concevoir des Systèmes d’informations flexibles et robustes

Programme de la formation

Présentation de Talend Open Studio for Big Data

  • Problématique du Big Data : le modèle de 3V, les cas d’usage.
  • L’écosystème Hadoop (HDFS, MapReduce, HBase, Hive, Pig…).
  • Données non structurées et bases de données NoSQL.
  • TOS for Big Data versus TOS for Data Integration.

Travaux pratiques

Installation/configuration de TOS for Big Data et d’un cluster Hadoop (Cloudera ou Hortonworks), vérification du bon fonctionnement.

Intégration de données dans un cluster et des bases de données NoSQL

  • Définition des métadonnées de connexion du cluster Hadoop.
  • Connexion à une base de MongoDB, Neo4j, Cassandra ou Hbase et export de données.
  • Intégration simple de données avec un cluster Hadoop.
  • Capture de tweets (composants d’extension) et importation directe dans HDFS.

Travaux pratiques

Lire des tweets et les stocker sous forme de fichiers dans HDFS, analyser la fréquence des thèmes abordés et mémorisation du résultat dans HBase.

Import / Export avec SQOOP

  • Utiliser Sqoop pour importer, exporter, mettre à jour des données entre systèmes RDBMS et HDFS.
  • Importer/exporter partiellement, de façon incrémentale de tables.
  • Importer/Exporter une base SQL depuis et vers HDFS.
  • Les formats de stockage dans le Big Data (AVRO, Parquet, ORC…).

Travaux pratiques

Réaliser une migration de tables relationnelles sur HDFS et réciproquement.

Effectuer des manipulations sur les données

  • Présentation de la brique PIG et de son langage PigLatin.
  • Principaux composants Pig de Talend, conception de flux Pig.
  • Développement de routines UDF.

Travaux pratiques

Dégager les tendances d’utilisation d’un site Web à partir de l’analyse de ses logs.

Architecture et bonnes pratiques dans un cluster Hadoop

  • Concevoir un stockage efficient dans HADOOP.
  • Datalake versus Datawarehouse, doit-on choisir ?
  • HADOOP et le Plan de Retour d’Activité (PRA) en cas d’incident majeur.
  • Automatiser ses workflows.

Travaux pratiques

Créer son datalake et automatiser son fonctionnement.

Analyser et entreposer vos données avec Hive

  • Métadonnées de connexion et de schéma Hive.
  • Le langage HiveQL.
  • Conception de flux Hive, exécution de requêtes.
  • Mettre en œuvre les composants ELT de Hive.

Travaux pratiques

Stocker dans HBase l’évolution du cours d’une action, consolider ce flux avec Hive de manière à matérialiser son évolution heure par heure pour une journée donnée.

MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS

Modalités pédagogiques :

  • Évaluation des besoins et du profil des participants.
  • Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
  • Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
  • Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.
  • Méthodes expositive, active et participative.
  • Réflexion et échanges sur cas pratiques.
  • Retours d'expériences.
  • Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.

Éléments matériels :

  • Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
  • Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.

Référent pédagogique et formateur :

  • Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
  • Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.
MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS
  • Feuilles de présences signées des participants et du formateur par demi-journée.
  • Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.
Please login to get access to the quiz
Talend Open Studio, mettre en œuvre l’intégration de données (Prev Lesson)
(Next Lesson) Talend, intégration de données pour le Big Data
Back to Talend
Public

Gestionnaires de données, architectes, consultants en informatique décisionnelle.

Pré-requis

Expérience dans l'utilisation de l'outil Talend Open Studio For Data Integration

Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en effectuant le test disponible en bas de cette page.

Lieu de formation

Intra-entreprise/à distance

Dates ou période

À définir. Nous consulter

Tarif

Sur devis. Merci de nous contacter

Modalités

Pour s’inscrire à notre formation, veuillez nous contacter par mail ou téléphone.

Démarrage de la formation sous deux semaines (délai indicatif).

Nous contacer
training@profind.fr
Informations complémentaires

Pour toute réclamation, aléas ou difficultés rencontrés pendant la formation, veuillez prendre contact avec notre organisme par téléphone ou par e-mail. Nous mettrons tout en œuvre pour trouver une solution adapter.

Formation synchrone, réalisée à distance en visioconférence via l’application Microsoft Teams ou en présentiel dans les locaux du client.

Sur le même thème