Objectifs de la formation
- Comprendre les concepts et l’apport du big data par rapport aux enjeux métiers
- Comprendre l’écosystème technologique nécessaire pour réaliser un projet big data
- Acquérir les compétences techniques pour gérer des flux de données complexes, non structurés et massifs
- Implémenter des modèles d’analyses statistiques pour répondre aux besoins métiers
- Appréhender un outil de data visualisation pour restituer des analyses dynamiques
Programme de la formation
Comprendre les concepts et les enjeux du big data
- Origines et définition du big data.
- Les chiffres clés du marché dans le monde et en France.
- Les enjeux du big data : Return on investment (ROI), organisation, confidentialité des données.
- Un exemple d’architecture big data.
Les technologies du big data
- Description de l’architecture et des composants de la plateforme Hadoop.
- Les modes de stockage (NoSQL, HDFS).
- Principes de fonctionnement de MapReduce, Spark, Storm…
- Principales distributions du marché (Hortonworks, Cloudera, MapR, Elastic Map Reduce, Biginsights).
- Installer une plateforme Hadoop.
- Les technologies du datascientist.
- Présentation des technologies spécifiques pour le big data (Tableau, Talend, QlikView…).
Travaux pratiques
Installation d’une plateforme big data Hadoop (via Cloudera QuickStart ou autre).
Gérer les données structurées et non structurées
- Principes de fonctionnement de Hadoop Distributed File System (HDFS).
- Importer des données externes vers HDFS.
- Réaliser des requêtes SQL avec Hive.
- Utiliser Pig pour traiter la donnée.
- Le principe des ETL (Talend).
- Gestion de streaming de données massive (NIFI, Kafka, Spark, Storm…)
Travaux pratiques
Implémentation de flux de données massives.
Technique et méthodes big data analytics
- machine learning, une composante de l’intelligence artificielle.
- Découvrir les trois familles : régression, classification et clustering.
- La préparation des données (data preparation, feature engineering).
- Générer des modèles en R ou Python.
- Ensemble learning.
- Découvrir les outils du marché : Jupyter Notebook, Dataïku, Amazon Machine Learning…
Exercice
Mise en place d’analyses avec un des outils étudiés.
Data visualisation et cas d’usage concrets
- Définir le besoin de la data visualisation.
- Analyse et visualisation des données.
- Peut concerner tous les types de données dans la dataviz ?
- Les outils dataviz du marché.
Travaux pratiques
Installation et utilisation d’un outil de data visualisation pour constituer des analyses dynamiques.
Conclusion
Bibliographie.
Ce qu’il faut retenir.
Synthèse des bonnes pratiques.