Concevoir et piloter un projet Big Data

Cette formation Concevoir et piloter un projet Big Data vous permettra de :

Comprendre et traiter les spécificités d’un projet Big Data au sens organisationnel, méthodologique, technologique, économique, juridique et humain
Composer et piloter une équipe Big Data
Manager le processus de mise en place d’un projet Big Data
Identifier les besoins et le type de données à traiter avec les métiers (use cases)
Organiser la collecte et le stockage des données
Déterminer l’exploitation des données
Mettre en œuvre l’analyse des données
Sélectionner une méthode de visualisation des données
Piloter et maîtriser les risques des projets Big Data
Réaliser des tests et analyses de performances
Consolider ses connaissances à travers un cas d’usage

Bâtir une vision Data Centric pour l'entreprise
Etudier l'environnement concurrentiel de l'entreprise
Comment créer de la valeur ou apporter de la valeur complémentaire aux données
Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
Comprendre les acteurs du Big Data et leur positionnement
Quelle Gouvernance mettre en place
Quel impact dans la relation DSI / Métiers
L'émergence de la culture DevOPS
Les nouvelles méthodologies de développement
Découvrir le Visual Thinking
Les impacts organisationnels
Comment positionner le Big Data face à l'existant ?
Quelles sont les possibilités offertes par le Big Data ?
La gestion des données personnelles
Surveillance et sanctions de la CNIL
Les nouveaux profils du Big Data

Le cadrage du projet
Cadrage métier identification des cas d'usages
Cadrage technique identification des cas d'usage
Identification des sources de données
Evaluation des besoins technologiques
Estimation budgétaire et planification projet
Management de projet Big Data
Définition de la méthodologie de gestion de projet
Mise en place de la structure de gouvernance du projet
Définition de la liste des livrables
Traitement des obligations juridiques: CNIL, propriétés intellectuelles
Compétences & organisation des projets Big Data
Identification des compétences nécessaires
Mise en place des différentes équipes projet (profils DSI, experts métiers, Data Scientists et Data Steward)
Mise en place des outils de pilotage
Déploiement des outils de data preparation
Mise en place des outils d'alimentation
Modélisation de la structure d'accueil des données au sein du Data Lake (landing area)
Mise en place des outils de développements (externe à la plateforme Big data si nécessaire)
Mise en place des outils d'exposition des données

Les enjeux règlementaires et la conformité : la dimension "Gouvernance" du projet
La disponibilité effective des données (en regard des différents contrats souscrits auprès des fournisseurs de données)
La maîtrise du format des données
La disponibilité des acteurs en charge de vous fournir les données
Anticiper la volumétrie attendue
Savoir correctement modéliser la structure d'accueil des données
Avoir une bonne vision des traitements à effectuer et leur performance en regard de la volumétrie attendue
Choisir avec soin son outil de modélisation prédictif (capable de gérer une forte volumétrie)
Maîtriser sa solution de datavisualisation et s'assurer de sa compatibilité avec le Big Data

Objectif : Tests sur un ou plusieurs scénarios sous une charge modérée du système complet et/ou d’un sous-système nécessitant un point d’attention

Exemple : La souscription est testée pour 1 utilisateur et, pour chaque étape du use case, on mesure le temps passé dans les différents composants de l’application
Test de vieillissement

Objectif : Déterminer la capacité de l’application à fonctionner sur une période étendue

Exemple : On simule l’utilisation de l’application pendant 48h, avec une charge constante et égale à la charge moyenne
Test de charge

Objectif : Mesurer la tenue en charge de l’application sur la population cible

Exemple : On simule l’utilisation de l’application par 200 utilisateurs (avec des scénarios différents) en parallèle pendant 2h
Test de rupture / Stress test

Objectif : Déterminer les limites de l’application

Exemple : On augmente le nombre d’utilisateurs en parallèle sur l’application jusqu’à ce que le taux d’erreurs / les temps de réponse ne soient plus acceptables
Choix des scénarios
Choix des métriques
Choix de l'outillage

Mission de choix d'outil et montée en compétence
Déploiement de distributions Hadoop différente et réalisation d'un test de performance

Please login to get access to the quiz

Back to Big Data

Big Data