Databricks pour data engineers

1 - Débutant

21 heures 0 mins

Big Data

Objectifs de la formation

Comprendre et utiliser les différentes fonctionnalités de Databricks
Créer et manipuler des notebooks
Mettre en place des jobs
Utiliser Python et SQL avec Databricks
Comprendre et utiliser le Datastore de Databricks
Créer des dashboards avec le SQL Analytics
Connecter Databricks et Power BI

Programme de la formation

Introduction

Azure : les grands principes du cloud, présentation et intérêts

Databricks : vue d’ensemble

Présentation d’Azure Databricks : les concepts (data lakehouse, ETL, data warehouse)
Gouvernance des données : concepts du Unity Catalog
Avantages de Databricks

Les espaces de travail

Les ressources Azure Databricks
La création d’un espace de travail
La connexion de l’espace de travail à des sources de données externes

Travaux pratiques

Créer un espace de travail et le connecter à des sources de données externes.

Les différents types de ressources : clusters et SQL warehouse

Présentation
Les différents types de calculs
La création d’un cluster
La gestion du cluster

Travaux pratiques

Identifier les différents types de calculs, créer et gérer un cluster.

Unity Catalog

La création d’un catalogue
La connexion à des données à partir de Unity Catalog
L’ajout d’une table dans le schéma du catalogue
La définition des autorisations sur une table du catalogue
Focus : connexion à des bases de données SQL
D’autres méthodes pour ajouter des données au catalogue

Travaux pratiques

Créer un catalogue et y connecter des données. Ajouter une table, définir des autorisations et maîtriser la connexion à des bases de données SQL.

Databricks : les notebooks

Les objectifs et les intérêts des notebooks
Le principe des cellules
Les commandes
Les magic command
Programmation PySpark, SQL…
L’utilisation des cellules et la visualisation d’un résultat
L’export et le partage des notebooks

Travaux pratiques

Connecter Databricks sur des outils de stockage (ADLS, base de données SQL, API), requêter, transformer et stocker des données dans Databricks. Comprendre les différents formats possibles (Parquet, Delta, table externe, etc.).

Principe de Spark et Delta

Présentation et prise en main du Spark SQL
Concepts de delta lake
Gestion du cycle de vie des tables : merge delta, delete/insert

Orchestration des traitements

L’appel de notebooks depuis Azure data factory et la configuration
L’utilisation des workflows Databricks
Le paramétrage et la configuration des notebooks Databricks depuis un workflow
Introduction à Databricks Delta Live Tables

Travaux pratiques

Manipuler les workflows Databricks, paramétrer et configurer des notebooks Databricks depuis un workflow.

Databricks SQL

Databricks SQL : administration
L’éditeur SQL
La création et l’exécution d’une requête
Planifier une requête
Créer des alertes
Le partage du résultat d’une requête
Les options disponibles sur les résultats d’une requête : export, visualisation, filtres d’affichage, paramétrage d’un résultat

Travaux pratiques

Créer une requête, en partager le résultat.

MOYENS PÉDAGOGIQUES ET TECHNIQUES D’ENCADREMENT DES FORMATIONS

Modalités pédagogiques :

Évaluation des besoins et du profil des participants.
Apport théorique et méthodologique : séquences pédagogiques regroupées en différents modules.
Contenus des programmes adaptés en fonction des besoins identifiés pendant la formation.
Méthodes expositive, active et participative.
Réflexion et échanges sur cas pratiques.
Retours d'expériences.
Corrections appropriées et contrôles des connaissances à chaque étape, fonction du rythme de l’apprenant mais également des exigences requises au titre de la formation souscrite.

Modalités d’évaluation :

Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de travaux pratiques, étude de cas et mise en situation.

Éléments matériels :

Mise à disposition des outils nécessaires au bon déroulement des travaux pratiques.
Support de cours au format numérique projeté sur écran et transmis au participant en fin de la formation.

Référent pédagogique et formateur :

Chaque formation est sous la responsabilité du directeur pédagogique de l’organisme de formation.
Le bon déroulement est assuré par le formateur désigné par l’organisme de formation.

MOYENS PERMETTANT LE SUIVI ET L’APPRÉCIATION DES RÉSULTATS

Feuilles de présences signées des participants et du formateur par demi-journée.
Attestation de fin de formation mentionnant les objectifs, la nature et la durée de l’action et les résultats de l’évaluation des acquis de la formation.

Please login to get access to the quiz

Back to Big Data

Public

Data engineers, collaborateurs impliqués dans la mise en place, l’automatisation et l’industrialisation de pipelines data sur des plateformes cloud moderne

Pré-requis

Bonne connaissance de SQL et de la manipulation de données. Connaissance de base de Python.

Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en effectuant le test disponible en bas de cette page.

Lieu de formation

Intra-entreprise/à distance

Dates ou période

À définir. Nous consulter

Tarif

Sur devis. Merci de nous contacter

Modalités

Pour s’inscrire à notre formation, veuillez nous contacter par mail ou téléphone.

Démarrage de la formation sous deux semaines (délai indicatif).

Nous contacer

training@profind.fr

Assistance technique

Une assistance technique et pédagogique est mise à disposition tout au long du parcours de formation. En cas de difficulté liée à l’utilisation des outils de visioconférence, à l’accès aux ressources nécessaires aux travaux pratiques ou au suivi de la formation, notre équipe est joignable par téléphone ou par e-mail afin de vous apporter une réponse dans les meilleurs délais.

Informations complémentaires

Pour toute réclamation, aléas ou difficultés rencontrés pendant la formation, veuillez prendre contact avec notre organisme par téléphone ou par e-mail. Nous mettrons tout en œuvre pour trouver une solution adaptée.

Formation synchrone, réalisée à distance en visioconférence via l’application Microsoft Teams ou en présentiel dans les locaux du client.

Accessibilité handicap

Notre organisme de formation s’engage à favoriser l’accès à ses formations aux personnes en situation de handicap. Nous analysons les besoins spécifiques de chaque participant en amont de la formation afin de mettre en place les adaptations pédagogiques, techniques ou organisationnelles compatibles avec le déroulement de l’action de formation.

Big Data