Big Data

Objectifs

Cette formation Architecture et infrastructure vous permettra de :

• Définir et identifier le contexte spécifique des projets Big Data
• Connaitre le panorama technologique et enjeux socio-économiques
• Mesurer l’impact des choix technologiques en matière d’analyse et de visualisation
• Connaitre la problématique et les enjeux de l’architecture distribuée
• Intervenir sur la qualité de la donnée en respectant les bonnes pratiques
• Respecter la propriété de la donnée, connaitre l’environnement juridique du traitement et mettre en œuvre la sécurité des données
• Mettre en œuvre une architecture et du calcul distribué
• Consolider ses connaissances à travers un cas d’usage

Programme

PANORAMA TECHNOLOGIQUE ET ENJEUX SOCIO-ECONOMIQUES

• Bâtir une vision Data Centric pour l'entreprise
• Etudier l'environnement concurrentiel de l'entreprise
• Comment créer de la valeur ou apporter de la valeur complémentaire aux données
• Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
• Comprendre les acteurs du Big Data et leur positionnement
• Quelle vision à 3 ans

PROPRIÉTÉ DE LA DONNÉE, ENVIRONNEMENT JURIDIQUE DU TRAITEMENT, SÉCURITÉ

• La nécessité de la gouvernance des données
• Qu'est-ce qu'un CDO

ASPECTS JURIDIQUES ET ETHIQUES : QUELLES DONNEES POUR QUELS USAGES ?

• Données objectives
• Données à caractère personnel

Quelle gestion des données personnelles ? (donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé)

• Quels Impact sur la vie privée
• Surveillance et sanction de la CNIL
• Déclaration préalable
• Exemples
• Présentation du socle (la finalité du traitement) et de 4 conditions

Finalité explicite et légitime

• Loyauté dans la mise en œuvre du traitement
• Données pertinentes
• Durée de conservation non excessive
• Sécurité

IMPACT DES CHOIX TECHNOLOGIQUES EN MATIERE D’INFRASTRUCTURE ET D’ARCHITECTURE BIG DATA

• Les impacts organisationnels
• Comment positionner le Big Data face à l'existant ?
• Quelles sont les possibilités offertes par le Big Data
• Quels sont les contraintes techniques du Big Data ?
• Quelles stratégies de conservation des données (chaudes, froides, "gelées") dans le temps ?
• Exemples de mise en œuvre d'architectures Big Data
• Faut-il partir sur du commodity Hardware ou sur des appliances

QUALITE DES DONNEES DANS LES PROJETS BIG DATA

• Données, information, connaissance
• Le cycle de vie de l'information
• Les données.
• Qu'est-ce que la qualité des données ?

La fraîcheur

• La disponibilité
• La cohérence
• La traçabilité
• La sécurisation
• L'exhaustivité.
• La démarche qualité dans le Big Data

Motivation : Les besoins de qualité engendrés par le datalake

• La recherche de plus d'efficacité métier
• Facteurs clés de succès et bonnes pratiques

Les 7 piliers de la qualité des données

• Les bonnes questions à se poser
• Le pilotage du projet
• La gestion des grands volumes
• Les outils en charge de la gouvernance et du cycle de vie des données des Big Data

VERS DES ARCHITECTURES DISTRIBUÉES

• Rappels des principes de base des architectures distribuées
• Le stockage distribué dans HDFS
• La data localité
• YARN, le super-chef d'orchestre des applications distribuées
• Les différents frameworks distribués
• Découvrir Hive, Pig, Spark, R et Python
• Calculs et traitements distribués de la donnée
• Avantages et inconvénients des architectures distribuées
• Les performances liées aux architectures distribuées

ETUDE DE CAS

• Mise en œuvre d'une architecture Big Data, conception d'une application de reconnaissance d'images utilisant des Frameworks distribués (Pyhton, Spark)