Objectifs de la formation

• Découvrir les principaux concepts  et enjeux du Big Data
• Comprendre l’évolution des données et de leurs traitements, à travers le big data
• Appréhender les apports des bases de données relationnelles, des bases NoSQL, des data lakes
• Evaluer le potentiel de la data et les infrastructures matérielles et logicielles nécessaires
• Comprendre l’écosystème technologique d’un projet Big Data
• Identifier les principales méthodes et champs d’application du Big Data

---

Programme de la formation

Appréhender la gestion des données : du relationnel au big data

• Les bases de données relationnelles et le langage SQL.
• Les SGBDR, premier support aux Data warehouse, datamarts, de la Business Intelligence.
• Les ETL, les ELT, la transformation des données.
• Les coûts de stockage.
• L’évolution de la volumétrie.
• L’origine du Big data.

Démonstration : Manipulation d’un SGBDR et d’un outil de requêtes SQL pour comprendre le modèle relationnel et l’intérêt de modèles différents dans la BI, vers l’analyse prédictive du Big Data. (ON PEUT SUPPRIMER si l’on manque de temps)

Découvrir le big data et le NoSQL

• Les nouveaux produits, les distributions.
• Les composants big data.
• Les moteurs d’indexation.
• Les 4 types de bases de données NoSQL : orientées document, orientées colonnes, orientées clés/valeurs, orientées graphe.

Zoom sur la base Nosql MongoDB

• Présentation de MongoDB (fonctionnalités et concepts).
• Réplication et Sharding.
• Ecosystèmes (langages, drivers, outils, intégration avec Hadoop).
• Base de données de documents.

Démonstration : Utilisation de MongoDB et intégration d’une base de données exemple.

Big Data : traitements depuis l’acquisition jusqu’au résultat

• L’enchaînement des opérations. L’acquisition.
• Le recueil des données : crawling, scraping.
• La gestion de flux événementiels (Complex Event Processing, CEP).
• L’indexation du flux entrant.
• L’intégration avec les anciennes données.
• La qualité des données : un cinquième V ?
• Les différents types de traitement : recherche, apprentissage (Machine Learning, transactionnel, data mining).
• D’autres modèles d’enchaînement : Amazon, e-Santé.
• Un ou plusieurs gisements de données ? De Hadoop à l’in-memory.
• De l’analyse de tonalité à la découverte de connaissances.

Relations entre Cloud et Big Data

• Le modèle d’architecture des Clouds publics et privés.
• Les services XaaS.
• Les objectifs et avantages des architectures Cloud.
• Les infrastructures.
• Les égalités et les différences entre Cloud et Big Data.
• Les Clouds de stockage.
• Classification, sécurité et confidentialité des données.
• La structure comme critère de classification : non structurée, structurée, semi-structurée.
• Classification selon le cycle de vie : données temporaires ou permanentes, archives actives.
• Difficultés en matière de sécurité : augmentation des volumétries, la distribution.
• Les solutions potentielles.

Zoom sur une technologie du Big Data : Hadoop

• Architecture et composants de la plateforme Hadoop 2.
• Les modes de stockage (NoSQL, HDFS).
• Fonctionnement de MapReduce et Yarn…
• Fonctionnement de Hadoop Distributed File System (HDFS).
• Importer des données vers HDFS.
• Création de flux de données massives avec un ETL.

Démonstration : Manipulation d’une plateforme Big Data complète. Implémentation de flux de données.

Matériel pour les architectures de stockage

• Les serveurs, disques, réseaux et l’usage des disques SSD, l’importance de l’infrastructure réseau.
• Les architectures Cloud et les architectures plus traditionnelles.
• Les avantages et les difficultés.
• Le stockage objet : principe et avantages.
• Le stockage objet par rapport aux stockages traditionnels NAS et SAN.
• L’architecture logicielle.
• Niveaux d’implantation de la gestion du stockage.
• Architecture centralisée (Hadoop File System).
• Les interfaces et connecteurs : S3, CDMI, FUSE, etc.
• Avenir des autres stockages (NAS, SAN) par rapport au stockage objet.

Démonstration : Utilisation d’un espace de stockage dans le Cloud.

Appréhender les nouvelles sources de données

• Data lake, data lakehouse : emplacements de stockage centralisés pour le Big Data
• Les services pour la gestion d’un lac de données (souvent basés sur la technologie Hadoop).
• Administration, gouvernance, étiquetage et classification des données du data lake pour éviter un « Data Swamp ».
• Les plateformes dans le cloud.
• L’Open Data.
• La place des API.

• Data fabric : architecture de données intégrée, une approche stratégique des systèmes de stockage pour exploiter le meilleur du cloud.
• Data mesh, une gestion décentralisée des données où le data lake s’y intègre et la data fabric en est complémentaire.

Démonstration : Rechercher des données dans l’Open Data, les exploiter.

Méthodes de traitement et champs d’application

• Classification des méthodes d’analyse selon le volume des données et la puissance des traitements.

• Machine Learning, estimation et prédiction.
• Le temps réel, l’IA.
• L’implémentation des modèles.
• L’ingestion de données et l’indexation. Deux exemples : Splunk et Logstash.
• Recherche et analyse : Elasticsearch.
• Une architecture générale du data mining via le Big Data.

Zoom sur l’indexation et la recherche : Elasticsearch, Logstash

• Les prérequis d’installation d’Elasticsearch, Logstash. Leurs rôles.
• Installation type « as a Cloud ».
• La mise en œuvre d’Elasticsearch, logstash.
• Fonctionnement d’Elasticsearch.
• Le format d’échange JSON, l’API REST.

Démonstration : Stockage de données dans Elasticsearch. Premières requêtes de recherche simples.

Cas d’usage à travers des exemples et conclusion

• La sécurité des personnes, détection de fraudes (postale, taxes), le réseau.
• Faut-il se lancer dans un projet Big Data ?

• La Data Sécurité, la Data Gouvernance, la Data Science.
• La Metadata.
• Gouvernance du stockage des données : rôle et recommandations, le Data Scientist, les compétences d’un projet Big Data.