Semaine I - Big Data
S.I - 0 – Sommaire:
Objectif : Se familiariser avec le thème du Big Data
Bonjour, je m’appelle Lionel et je vous souhaite la Bienvenue dans ce module digital intitulé Systèmes
d’information et management d’entreprise de la donnée au Big data. Je vais vous accompagner tout au long de
votre parcours, dont l’objectif est de vous faire comprendre comment le Big d’État a contribué à résoudre
des problèmes qui existaient avant son avènement. Nous allons étudier comment le successeur du data
warehouse et du data mining a ouvert une nouvelle ère dans le numérique et nous nous pencherons également
sur les implications sur la vie privée et sur l’utilisation d’un outil du Big data Google Trends je. Je vous propose
d’entamer votre module immédiatement, on y va.
1. Avant le Big data et les problèmes rencontrés
2. Le Big data
3. La question de la vie privée
4. L’exemple de Google Trends
5. Quizz
Voyons ensemble le sommaire de votre module qui se compose de 5 séquences
dans la première séquence, nous verrons comment on collectait la donnée avant l’avènement du Big data.
Dans la 2 e séquence, nous définirons ce qu’est le Big data et nous analyserons sa philosophie, ses objectifs,
ses champs d’application et ses acteurs.
L’implication du Big data dans la vie privée sera l’objet de la 3 e séquence dans laquelle nous effectuerons
également un focus sur le RGPD.
La 4e séquence sera consacrée à un cas pratique. Nous nous pencherons sur Google Trends un outil offrant un
espace Big data
Enfin une 5e séquence vous proposera d’effectuer un quiz sous forme de QCM ainsi que quelques ressources si
vous souhaitez approfondir le sujet.
I. S.I - 2 - Avant le big data et les problèmes rencontrés |
Objectif : Acquérir une compréhension approfondie des concepts liés à l'entrepôt de données
Vaste programme, n’est-ce pas ? Le Big d’État est récent, mais il est le résultat d’une assez longue histoire sur
la gestion de la connaissance et de l’informatique. Ce module va donc vous permettre d’avoir une vision claire
de ce qu’est le Big data et comment il a ouvert une nouvelle ère. Si vous êtes prêt, attaquons tout de suite la
première séquence de votre module intitulé De la donnée au Big data, au cours de celle-ci, vous allez découvrir
qu’avant la technologie Big data, il existait déjà des moyens de stocker les informations et de les traiter Go.
Tous les jours, nous sommes amenés à collecter de l’information sous une forme plus ou moins structurée
avant l’avènement du Big data, les entreprises qui collectaient beaucoup de données se dotaient des
technologies, des entrepôts de données. Et qu’est-ce qu’un entrepôt de données me demandez-vous ? Eh
bien, un entrepôt de données appelé aussi base de données décisionnelles ou data warehouse, désigne une
base de données utilisée pour collecter, ordonner, journaliser et stocker des informations provenant de base
de données opérationnelles.
Son objectif est de fournir un socle à l’aide à la décision en entreprise.
• Base client
• Journaux d’incidents
, • Fiches produits
• Data warehouse.
Les entrepôts de données sont alimentés par d’autres bases de données métier en amont et il centralise donc
une partie de l’information initialement captée. Sachez que les datas warehouse stockent de grandes
quantités de données sur un unique schéma de données appelé modèle sur un seul lieu de stockage et à
partir de sources diverses, des bases clients, des journaux d’incidents ou encore des fiches produits par
exemple. Un data warehouse est construit à partir d’images à un instant T comme une synthèse des sources
d’alimentation et comme une simplification de ces sources.
MAIS :
• Les données sont potentiellement redondantes .
• Elles sont potentiellement incohérentes.
• Une fois validé dans l’entrepôt, les données ne sont généralement plus modifiées.
Mais. Car il y a un mai, les sources d’un data warehouse étant multiples et différentes, les informations
collectées dans l’entrepôt peuvent souffrir de quelques problèmes. Les données sont potentiellement
redondantes, parfois incohérentes et une fois validées dans l’entrepôt, elles ne sont généralement plus
modifiées. Par exemple, un produit peut être signalé présent dans un stock dont l’image aura été fournie à
16h00, mais signalée vendue dans l’image des ventes fournies à 17h00.
Données non ordonnées : Post-it, Note, Enregistrement,…
fichiers plats : tableau,xml…
➔ETL
➔Intégration
Récupérer des données pas ou peu structurées comme des post-it, des notes, des enregistrements, des
fichiers plats. C’est simple, oui, mais pas très efficace en termes de création de connaissances et de valeurs
afin de pouvoir traiter les données, il faut au préalable homogénéiser les données provenant de différentes
sources. Ce travail est un travail d’intégration ou de pré-traitement des opérations courantes de pré-traitement
d’un entrepôt de données sont donc nécessaires.
L’objet de l’ETL qui signifie extract Transforme load et précisément de manipuler des données faiblement
structurées, nettoyer les données via l’ETL et l’intégration permet de
• corriger les erreurs de saisie,
• gérer les données manquantes ou les données non cohérentes,
• rectifier les données au mauvais format comme les dates ou encore de gérer les champs nuls.
, L’hétérogénéité des données suppose de réaliser des pré-traitements, c’est-à-dire de l’intégration de
données.
L’entrepôt de données lui-même peut faire l’objet d’un poste traitement de façon à alimenter des bases de
données utilisées par les métiers pour prendre des décisions. Dans le schéma que vous avez sous les yeux,
nous voyons un flow shart de la gestion des données depuis les systèmes opérationnels et la couche
d’intégration intégration layer pour consolider et vérifier l’intégrité des données jusqu’au data Mart et
stratégique Mart. Ces derniers sont des magasins de données qui rendent les données accessibles et
exploitables par les utilisateurs.
L’entrepôt peut être alimenté régulièrement dans la journée, de façon à avoir une vision temporelle fine des
données. Cela va permettre d’extraire les informations selon des requêtes par tranches temporelles. On peut
ainsi connaître le total des ventes faites à un client dans une tranche horaire d’un jour précis pour un produit
choisi.
Objectif : Comprendre les tendances actuelles dans le domaine des données et leur impact sur les entreprises
et la société.
Utilisation data mining
En sortie, l’information enrichie par le processus de l’entrepôt peut servir à beaucoup de décideurs de
l’entreprise. En effet, les données de l’entrepôt ont vocation à favoriser l’analyse et la prise de décision dans
différents domaines tels que le marketing, la relation client, l’analyse des achats, les ventes croisées, la
segmentation de marché, l’analyse de risques ou encore la détection de fraude.
Les opérations d’analyse peuvent parfois être très complexes et lourdes. Le data mining s’avère alors
nécessaire.
Problèmes de cette technologie :
• Modèle rigide de la base.
• Beaucoup de données et limites technologiques.
• Explosions de la taille dans certaines activités (vente des produits d’un hypermarché…)
Data mining nécessaire
Les problèmes liés aux entrepôts ont poussé cette technologie à ses limites. En effet, c’est un modèle rigide ne
permettant pas de traiter beaucoup de données dont la taille a notamment explosé dans certaines activités
telles que la vente de produits en hypermarché. Ces limites ont donc conduit au développement du data
mining, le data mining consiste à partir de grosses bases de données à extraire des informations non triviales
implicites préalablement inconnues et potentiellement utiles.
Data Mining pour :
• La classification
• La régression
• La segmentation/clustering.
• Analyste en ligne.
S.I - 0 – Sommaire:
Objectif : Se familiariser avec le thème du Big Data
Bonjour, je m’appelle Lionel et je vous souhaite la Bienvenue dans ce module digital intitulé Systèmes
d’information et management d’entreprise de la donnée au Big data. Je vais vous accompagner tout au long de
votre parcours, dont l’objectif est de vous faire comprendre comment le Big d’État a contribué à résoudre
des problèmes qui existaient avant son avènement. Nous allons étudier comment le successeur du data
warehouse et du data mining a ouvert une nouvelle ère dans le numérique et nous nous pencherons également
sur les implications sur la vie privée et sur l’utilisation d’un outil du Big data Google Trends je. Je vous propose
d’entamer votre module immédiatement, on y va.
1. Avant le Big data et les problèmes rencontrés
2. Le Big data
3. La question de la vie privée
4. L’exemple de Google Trends
5. Quizz
Voyons ensemble le sommaire de votre module qui se compose de 5 séquences
dans la première séquence, nous verrons comment on collectait la donnée avant l’avènement du Big data.
Dans la 2 e séquence, nous définirons ce qu’est le Big data et nous analyserons sa philosophie, ses objectifs,
ses champs d’application et ses acteurs.
L’implication du Big data dans la vie privée sera l’objet de la 3 e séquence dans laquelle nous effectuerons
également un focus sur le RGPD.
La 4e séquence sera consacrée à un cas pratique. Nous nous pencherons sur Google Trends un outil offrant un
espace Big data
Enfin une 5e séquence vous proposera d’effectuer un quiz sous forme de QCM ainsi que quelques ressources si
vous souhaitez approfondir le sujet.
I. S.I - 2 - Avant le big data et les problèmes rencontrés |
Objectif : Acquérir une compréhension approfondie des concepts liés à l'entrepôt de données
Vaste programme, n’est-ce pas ? Le Big d’État est récent, mais il est le résultat d’une assez longue histoire sur
la gestion de la connaissance et de l’informatique. Ce module va donc vous permettre d’avoir une vision claire
de ce qu’est le Big data et comment il a ouvert une nouvelle ère. Si vous êtes prêt, attaquons tout de suite la
première séquence de votre module intitulé De la donnée au Big data, au cours de celle-ci, vous allez découvrir
qu’avant la technologie Big data, il existait déjà des moyens de stocker les informations et de les traiter Go.
Tous les jours, nous sommes amenés à collecter de l’information sous une forme plus ou moins structurée
avant l’avènement du Big data, les entreprises qui collectaient beaucoup de données se dotaient des
technologies, des entrepôts de données. Et qu’est-ce qu’un entrepôt de données me demandez-vous ? Eh
bien, un entrepôt de données appelé aussi base de données décisionnelles ou data warehouse, désigne une
base de données utilisée pour collecter, ordonner, journaliser et stocker des informations provenant de base
de données opérationnelles.
Son objectif est de fournir un socle à l’aide à la décision en entreprise.
• Base client
• Journaux d’incidents
, • Fiches produits
• Data warehouse.
Les entrepôts de données sont alimentés par d’autres bases de données métier en amont et il centralise donc
une partie de l’information initialement captée. Sachez que les datas warehouse stockent de grandes
quantités de données sur un unique schéma de données appelé modèle sur un seul lieu de stockage et à
partir de sources diverses, des bases clients, des journaux d’incidents ou encore des fiches produits par
exemple. Un data warehouse est construit à partir d’images à un instant T comme une synthèse des sources
d’alimentation et comme une simplification de ces sources.
MAIS :
• Les données sont potentiellement redondantes .
• Elles sont potentiellement incohérentes.
• Une fois validé dans l’entrepôt, les données ne sont généralement plus modifiées.
Mais. Car il y a un mai, les sources d’un data warehouse étant multiples et différentes, les informations
collectées dans l’entrepôt peuvent souffrir de quelques problèmes. Les données sont potentiellement
redondantes, parfois incohérentes et une fois validées dans l’entrepôt, elles ne sont généralement plus
modifiées. Par exemple, un produit peut être signalé présent dans un stock dont l’image aura été fournie à
16h00, mais signalée vendue dans l’image des ventes fournies à 17h00.
Données non ordonnées : Post-it, Note, Enregistrement,…
fichiers plats : tableau,xml…
➔ETL
➔Intégration
Récupérer des données pas ou peu structurées comme des post-it, des notes, des enregistrements, des
fichiers plats. C’est simple, oui, mais pas très efficace en termes de création de connaissances et de valeurs
afin de pouvoir traiter les données, il faut au préalable homogénéiser les données provenant de différentes
sources. Ce travail est un travail d’intégration ou de pré-traitement des opérations courantes de pré-traitement
d’un entrepôt de données sont donc nécessaires.
L’objet de l’ETL qui signifie extract Transforme load et précisément de manipuler des données faiblement
structurées, nettoyer les données via l’ETL et l’intégration permet de
• corriger les erreurs de saisie,
• gérer les données manquantes ou les données non cohérentes,
• rectifier les données au mauvais format comme les dates ou encore de gérer les champs nuls.
, L’hétérogénéité des données suppose de réaliser des pré-traitements, c’est-à-dire de l’intégration de
données.
L’entrepôt de données lui-même peut faire l’objet d’un poste traitement de façon à alimenter des bases de
données utilisées par les métiers pour prendre des décisions. Dans le schéma que vous avez sous les yeux,
nous voyons un flow shart de la gestion des données depuis les systèmes opérationnels et la couche
d’intégration intégration layer pour consolider et vérifier l’intégrité des données jusqu’au data Mart et
stratégique Mart. Ces derniers sont des magasins de données qui rendent les données accessibles et
exploitables par les utilisateurs.
L’entrepôt peut être alimenté régulièrement dans la journée, de façon à avoir une vision temporelle fine des
données. Cela va permettre d’extraire les informations selon des requêtes par tranches temporelles. On peut
ainsi connaître le total des ventes faites à un client dans une tranche horaire d’un jour précis pour un produit
choisi.
Objectif : Comprendre les tendances actuelles dans le domaine des données et leur impact sur les entreprises
et la société.
Utilisation data mining
En sortie, l’information enrichie par le processus de l’entrepôt peut servir à beaucoup de décideurs de
l’entreprise. En effet, les données de l’entrepôt ont vocation à favoriser l’analyse et la prise de décision dans
différents domaines tels que le marketing, la relation client, l’analyse des achats, les ventes croisées, la
segmentation de marché, l’analyse de risques ou encore la détection de fraude.
Les opérations d’analyse peuvent parfois être très complexes et lourdes. Le data mining s’avère alors
nécessaire.
Problèmes de cette technologie :
• Modèle rigide de la base.
• Beaucoup de données et limites technologiques.
• Explosions de la taille dans certaines activités (vente des produits d’un hypermarché…)
Data mining nécessaire
Les problèmes liés aux entrepôts ont poussé cette technologie à ses limites. En effet, c’est un modèle rigide ne
permettant pas de traiter beaucoup de données dont la taille a notamment explosé dans certaines activités
telles que la vente de produits en hypermarché. Ces limites ont donc conduit au développement du data
mining, le data mining consiste à partir de grosses bases de données à extraire des informations non triviales
implicites préalablement inconnues et potentiellement utiles.
Data Mining pour :
• La classification
• La régression
• La segmentation/clustering.
• Analyste en ligne.
