Databanken en datawarehouses
Inhoud
H1: Databases en databasesystemen ............................................................................................................. 2
H2: Datamodellen en databasemodellen........................................................................................................ 7
H3: Conceptueel databaseontwerp .............................................................................................................. 17
H5: Logisch databaseontwerp ....................................................................................................................... 22
Een uitgewerkt voorbeeld over normalisatie: een inventaris van schilderijen ......................................... 30
H12: Datawarehousing .................................................................................................................................. 37
H15: Beheer van ‘big’ data en NoSQL-oplossingen ....................................................................................... 44
1
,H1: Databases en databasesystemen
Vragen behorend tot H1
Wat is een database, een databasesysteem en een databasemanagementsysteem?
Het ruimste kader waar zowel (1) de gegevens, (2) het dbms en (3) alles errond om toegang te krijgen tot
die dmbs in vervat zitten is het databasesysteem
Daarbinnen zit specifieke software die bedoelt is om de data te beheren en te bedienen dbms
Helemaal in de kern heb je de data zelf (een reeks bits en bytes) database
Waarom wordt magneetbandgeheugen door sommige IT-specialisten gecategoriseerd als tertiair
geheugen?
In tegenstelling tot ander secundair geheugen:
- Enkel sequentiële toegang (i.p.v. willekeurige toegang op blokniveau): niet vlot
- Bij archivering en back-up: datastroom gebeurt niet rechtstreeks naar primair geheugen, eerst
moet een kopie gebeuren naar het secundair geheugen door besturingssysteem
De theorie hierachter
2
,Wanneer je met een computer te werk gaat, heb je drie belangrijke capaciteiten nodig:
- Verwerkingscapaciteit: om gegevens te verwerken tot andere gegevens
- Geheugen: om gegevens te bewaren
- Connectiviteit: om gegevens te delen
De technologie die we voor het geheugen kunnen gebruiken, mogen we kiezen. In principe is één van
deze technologieën voldoende, alleen heeft elk geheugen een soort nadeel. De drie belangrijkste
aspecten die spelen in het kiezen van technologie zijn: snelheid, kost, capaciteit
• Hoe sneller, hoe duurder: alle gegevens in statisch ram is veel te duur
• Hoe goedkoper, hoe trager: wanneer we willen aflezen van magneetbandgeheugen, zal dit
sequentieel moeten gebeuren tot bij het gegeven dat je werkelijk nodig hebt (archief)
• Hoe goedkoper, hoe meer capaciteit we hiervan zullen aankopen
➢ Combinatie nodig van trage geheugentechnologie met veel volume en sneller
geheugentechnologie met minder volume. Het stukje gegevens waarmee we nu willen werken,
zullen we uit het trage geheugen lezen en kopiëren naar het snelle geheugen.
NIET VOLATIEL
Wat je opschrijft blijft bewaart, ook als je het toestel uitschakelt. Deze technologieën moeten niet power-
on blijven.
- De cd-rom en dvd zijn meestal geschikt voor slechts eenmalig schrijven (back-up). Deze zijn ook
niet tijdsbestendig. Na enkele jaren beginnen deze te vervallen.
- Het magneetschijfgeheugen en de solid state disks (SSD) worden meer gebruikt, ook op een
pesonal computer. De SSD is sneller en duurder dan de magneetschijven.
- Flash geheugen zoals een USB stick is ook niet volatiel en bewaart het geheugen als deze op de
kast ligt. Deze wordt echter wel gezien als primair geheugen.
VOLATIEL
Wanneer je het toestel uitschakelt, zijn de gegevens verdwenen. De gegevens zijn dus enkel beschikbaar
voor de duur van de sessie van het apparaat.
- Het primair geheugen (statisch ram en dynamisch ram) is het geheugen waarmee de processor
rechtstreeks werkt. De processor zal nooit rechtstreeks toegang nemen tot een harde schijf,
magneetband,... Men zal bijgevolg zorgen dat de porties die nodig zijn in het werkgeheugen
toegankelijk zijn door deze te kopiëren uit het secundair geheugen. Wijzigingen zullen vervolgens
gebeuren in het primair geheugen. Daarna wordt het terug persistent bewaard in het secundair
geheugen.
Voor de werking van de databank baseren we ons ook op het hiërarchisch gebeuren. De dbms wil toegang
krijgen tot data, deze bevindt zich in het secundair geheugen die persistent en niet volatiel is. Maar
wanneer de dbms de gegevens wil lezen, zal de dbms deze niet rechtstreeks uit het secundair geheugen
halen. Het besturingssysteem zal die
data aanleveren door het te kopiëren
naar het werkgeheugen (= primair
geheugen). Het secundair geheugen
bestaat uit een blokindeling van
verschillende sectoren, ook wel
pagina-indeling genoemd. Het
besturingssysteem zal de sectoren
indelen in pagina’s en de nodige
pagina’s van de sectoren kopiëren, dit
zijn de buffers. Dit is telkens een
volledige pagina. De CPU (processor)
kan vervolgens met software
instructies uitvoeren op de data.
3
,Wat is 3D XPoint? Hoe past deze technologie in de hiërarchische geheugenpiramide?
3D XPoint is een vrij nieuwe geheugentechnologie, dit is ontwikkeld door Intel. Het is een totaal nieuwe
vorm van geheugenopslag. De plaats in de geheugenpiramide is nog niet gekend. De 3D XPoint is nl.:
- 1000x sneller dan NAND SSD
- 10x trager dan dynamisch ram
- MAAR vooral ook niet-volatiel! Deze combinatie is amper te zien in de geheugenpiramide, enkel
bij het flash geheugen. Maar flash geheugen is veel trager dan de 3D Xpoint.
➢ 3D XPoint is snel en niet-volatiel. Het is nog in ontwikkeling en momenteel best duur, maar het is
een game changer. Er is geen nood meer aan een swap van secundair naar primair geheugen.
Wat is de aard en het belang van de dataonafhankelijkheid die voortspruit uit de drielagenarchitectuur
voor een dbms?
Fysieke dataonafhankelijkheid: bij wijzigingen aan interne laag (bv. t.g.v. wijzigingen in gebruikspatronen)
- parameterinstellingen voor efficiëntere primaire en secundaire bestandsorganisatie
- gewijzigde indexen in secundaire bestandsorganisatie
➢ deze wijzigingen mogen geen impact hebben op de databaseschema’s in de logische laag, maar
moet zorgen voor een betere algehele werking = optimalisatie door DBA de logische/interne
mapping wordt aangepast zonder gevolgen voor de logische beschrijving
Logische dataonafhankelijkheid: bij wijzigingen aan logische laag (bv. t.g.v. wijzigingen in de omgeving)
- naam (recordtype of veld) wijzigen
- extra recordtype of veld
➢ deze wijzigingen mogen geen impact hebben op de structuur van views in de externe laag de
externe/logische mapping wordt aangepast zonder impact op diverse views
De theorie hierachter
Verschil in rol van data-administrator (DA) en databaseadministrator (DBA)
• De DA is een bedrijfsgerichte rol
- Beslist welke data, in welk formaat en onder welk structuur de data in de dbms moet
opgeslagen worden
- Beslist wie toegang mag krijgen, en welke data mag worden aangepast of enkel lezen
- Zorgt voor de communicatie
- Bekijkt hoe toegangsconflicten kunnen worden opgelost
• De DBA is een technische rol
- Enkel verantwoordelijk voor het beheren, bewaken, optimaliseren van de dbms.
- Pleegt nauw overleg met de DA’s
- Volgt de DA’s beslissingen strikt op
Taken van een dbms
• De drie belangrijkste taken
- Databasedefinitie: definiëren van structuur + semantische regels (integriteitsbewaking).
Een semantische regel kan zijn: het veld “geboortejaar” ligt voor het “overledensjaar”.
Men krijgt vervolgens een foutmelding indien dit fout wordt ingevuld.
- Databaseconstructie (primaire bestandsorganisatie)
- Databasemanipulatie (CRUD-operatoren): Create Retrieve Update Delete
• De vier aanvullende taken
- Delen van dezelfde data (geïsoleerd gebruik door gelijktijdige gebruikers)
- Beveiliging van de data (tegen ongeoorloofd gebruik en tegen fysiek falen)
- Optimaal systeemgedrag (optimale responstijden kunnen garanderen)
- Administratie en controle (prestatiestatistieken, gebruikersaccounts, backups, …)
4
,Men kan vervolgens de dbms indelen in 3 niveaus van representatie van een databank = de drielagen-
dbms-architectuur.
• Niveau 0: Fysieke opslag door het besturingssysteem
• Niveau 1: Interne laag met de fysieke structuur
• Niveau 2: Logische laag met het databaseschema
• Niveau 3: Externe laag met diverse views
Niveau 0: We beginnen echter met te duiden dat het besturingssysteem de data zal aanleveren aan de
dbms o.b.v. primaire en secundaire bestandsorganisatie
• Primaire bestandsorganisatie: organisatie van bestanden in fysieke geheugenpagina’s
(tracks/cilinders en sectoren)
• Secundaire bestandsorganisatie: optimalisatie van de toegang tot de inhoud van bestanden
Niveau 1: De interne laag
De data van de databank beschreven als fysieke records (in fysieke recordtypes).
• Primaire bestandsorganisatie: organisatie van records in recordtypes in bestanden (bijv. de
structuur van de recordtypes, vaste/variabele bitlengte, prefix (unieke identificatie),
(on)geordend, parameterinstellingen,…)
• Secundaire bestandsorganisatie: optimalisatie van de toegang tot de records (bijv. adhv indexen,
parameterinstellingen,…).
Welk record vinden we terug
op welk geheugenadres? DBA
zal dit op een slimme manier
beheren om de dbms te
optimaliseren. Zoals het
beslissen van vaste of
variabele lengte van bytes.
Niveau 0 en 1 zijn niet
zichtbaar voor de gebruikers.
5
, Niveau 2: Logische laag
De data van de databank beschreven/gestructureerd in logische recordtypes
• In het geval van een relationele databank: “tabellen” in het databaseschema:
• entiteiten, verwantschappen, gebruikersgedefinieerde operatoren en integriteitsbeperkingen
Naam van recordtype, welke
velden er in dit recordtype
zitten en welk datatype
Niveau 3: Externe laag:
De data van de databank beschreven/gestructureerd in meerdere views. Dit is op maat van de behoeften
en toegangsrechten van gebruikersgroepen. Of verschillend van toepassingsprogramma’s.
Niet elke gebruiker hoort alles te zien of te
doen.
We creëren een vernauwd beeld waarbij je
niet alle record types ziet, maar enkel de
records/velden die jou aanbelangen.
Het voorbeeld links creëert een verschillende
view door een verschillende
programmeercode.
Extra concepten
INDEX
Lijst van koppels van de vorm: <veldwaarde, referentie>, geordend op basis van veldwaarde. Dit laat het
toe om snel, op basis van de veldwaarde, te navigeren door de records.
VB: Stel dat je vaak zoekt op geboortedatum. Je plaatst de geboortedatum in een aparte lijst gekoppeld
aan de prefix als referentie. Je kan vervolgens zoeken in deze geordende indexlijst naar alle schilders met
geboortedatum 1834 op een eenvoudige manier.
VIEW
Views kunnen geïmplementeerd worden:
• In het DBMS: indien er een DDL is die dat ondersteunt
• In de applicatie-code: bv. definitie van attributen in klassen (zie voorbeeld in niveau 3)
Views onderscheiden zich van de logische laag bv. door:
• andere veldnamen: a.d.h.v. afkortingen wordt het cryptischer
• andere datatypes: afronden voor deze gebruiker, exact tot 12 decimalen voor andere gebruiker
• meer/minder velden: niet alle velden zijn voor iedereen interessant of toegelaten (vb. loon)
MAPPINGS
• Van een interne mapping naar logische mapping en omgekeerd
• Van een logische mapping naar meerdere externe mappings (meerdere views) en omgekeerd
• Van een externe mapping naar een andere externe mapping
6
Inhoud
H1: Databases en databasesystemen ............................................................................................................. 2
H2: Datamodellen en databasemodellen........................................................................................................ 7
H3: Conceptueel databaseontwerp .............................................................................................................. 17
H5: Logisch databaseontwerp ....................................................................................................................... 22
Een uitgewerkt voorbeeld over normalisatie: een inventaris van schilderijen ......................................... 30
H12: Datawarehousing .................................................................................................................................. 37
H15: Beheer van ‘big’ data en NoSQL-oplossingen ....................................................................................... 44
1
,H1: Databases en databasesystemen
Vragen behorend tot H1
Wat is een database, een databasesysteem en een databasemanagementsysteem?
Het ruimste kader waar zowel (1) de gegevens, (2) het dbms en (3) alles errond om toegang te krijgen tot
die dmbs in vervat zitten is het databasesysteem
Daarbinnen zit specifieke software die bedoelt is om de data te beheren en te bedienen dbms
Helemaal in de kern heb je de data zelf (een reeks bits en bytes) database
Waarom wordt magneetbandgeheugen door sommige IT-specialisten gecategoriseerd als tertiair
geheugen?
In tegenstelling tot ander secundair geheugen:
- Enkel sequentiële toegang (i.p.v. willekeurige toegang op blokniveau): niet vlot
- Bij archivering en back-up: datastroom gebeurt niet rechtstreeks naar primair geheugen, eerst
moet een kopie gebeuren naar het secundair geheugen door besturingssysteem
De theorie hierachter
2
,Wanneer je met een computer te werk gaat, heb je drie belangrijke capaciteiten nodig:
- Verwerkingscapaciteit: om gegevens te verwerken tot andere gegevens
- Geheugen: om gegevens te bewaren
- Connectiviteit: om gegevens te delen
De technologie die we voor het geheugen kunnen gebruiken, mogen we kiezen. In principe is één van
deze technologieën voldoende, alleen heeft elk geheugen een soort nadeel. De drie belangrijkste
aspecten die spelen in het kiezen van technologie zijn: snelheid, kost, capaciteit
• Hoe sneller, hoe duurder: alle gegevens in statisch ram is veel te duur
• Hoe goedkoper, hoe trager: wanneer we willen aflezen van magneetbandgeheugen, zal dit
sequentieel moeten gebeuren tot bij het gegeven dat je werkelijk nodig hebt (archief)
• Hoe goedkoper, hoe meer capaciteit we hiervan zullen aankopen
➢ Combinatie nodig van trage geheugentechnologie met veel volume en sneller
geheugentechnologie met minder volume. Het stukje gegevens waarmee we nu willen werken,
zullen we uit het trage geheugen lezen en kopiëren naar het snelle geheugen.
NIET VOLATIEL
Wat je opschrijft blijft bewaart, ook als je het toestel uitschakelt. Deze technologieën moeten niet power-
on blijven.
- De cd-rom en dvd zijn meestal geschikt voor slechts eenmalig schrijven (back-up). Deze zijn ook
niet tijdsbestendig. Na enkele jaren beginnen deze te vervallen.
- Het magneetschijfgeheugen en de solid state disks (SSD) worden meer gebruikt, ook op een
pesonal computer. De SSD is sneller en duurder dan de magneetschijven.
- Flash geheugen zoals een USB stick is ook niet volatiel en bewaart het geheugen als deze op de
kast ligt. Deze wordt echter wel gezien als primair geheugen.
VOLATIEL
Wanneer je het toestel uitschakelt, zijn de gegevens verdwenen. De gegevens zijn dus enkel beschikbaar
voor de duur van de sessie van het apparaat.
- Het primair geheugen (statisch ram en dynamisch ram) is het geheugen waarmee de processor
rechtstreeks werkt. De processor zal nooit rechtstreeks toegang nemen tot een harde schijf,
magneetband,... Men zal bijgevolg zorgen dat de porties die nodig zijn in het werkgeheugen
toegankelijk zijn door deze te kopiëren uit het secundair geheugen. Wijzigingen zullen vervolgens
gebeuren in het primair geheugen. Daarna wordt het terug persistent bewaard in het secundair
geheugen.
Voor de werking van de databank baseren we ons ook op het hiërarchisch gebeuren. De dbms wil toegang
krijgen tot data, deze bevindt zich in het secundair geheugen die persistent en niet volatiel is. Maar
wanneer de dbms de gegevens wil lezen, zal de dbms deze niet rechtstreeks uit het secundair geheugen
halen. Het besturingssysteem zal die
data aanleveren door het te kopiëren
naar het werkgeheugen (= primair
geheugen). Het secundair geheugen
bestaat uit een blokindeling van
verschillende sectoren, ook wel
pagina-indeling genoemd. Het
besturingssysteem zal de sectoren
indelen in pagina’s en de nodige
pagina’s van de sectoren kopiëren, dit
zijn de buffers. Dit is telkens een
volledige pagina. De CPU (processor)
kan vervolgens met software
instructies uitvoeren op de data.
3
,Wat is 3D XPoint? Hoe past deze technologie in de hiërarchische geheugenpiramide?
3D XPoint is een vrij nieuwe geheugentechnologie, dit is ontwikkeld door Intel. Het is een totaal nieuwe
vorm van geheugenopslag. De plaats in de geheugenpiramide is nog niet gekend. De 3D XPoint is nl.:
- 1000x sneller dan NAND SSD
- 10x trager dan dynamisch ram
- MAAR vooral ook niet-volatiel! Deze combinatie is amper te zien in de geheugenpiramide, enkel
bij het flash geheugen. Maar flash geheugen is veel trager dan de 3D Xpoint.
➢ 3D XPoint is snel en niet-volatiel. Het is nog in ontwikkeling en momenteel best duur, maar het is
een game changer. Er is geen nood meer aan een swap van secundair naar primair geheugen.
Wat is de aard en het belang van de dataonafhankelijkheid die voortspruit uit de drielagenarchitectuur
voor een dbms?
Fysieke dataonafhankelijkheid: bij wijzigingen aan interne laag (bv. t.g.v. wijzigingen in gebruikspatronen)
- parameterinstellingen voor efficiëntere primaire en secundaire bestandsorganisatie
- gewijzigde indexen in secundaire bestandsorganisatie
➢ deze wijzigingen mogen geen impact hebben op de databaseschema’s in de logische laag, maar
moet zorgen voor een betere algehele werking = optimalisatie door DBA de logische/interne
mapping wordt aangepast zonder gevolgen voor de logische beschrijving
Logische dataonafhankelijkheid: bij wijzigingen aan logische laag (bv. t.g.v. wijzigingen in de omgeving)
- naam (recordtype of veld) wijzigen
- extra recordtype of veld
➢ deze wijzigingen mogen geen impact hebben op de structuur van views in de externe laag de
externe/logische mapping wordt aangepast zonder impact op diverse views
De theorie hierachter
Verschil in rol van data-administrator (DA) en databaseadministrator (DBA)
• De DA is een bedrijfsgerichte rol
- Beslist welke data, in welk formaat en onder welk structuur de data in de dbms moet
opgeslagen worden
- Beslist wie toegang mag krijgen, en welke data mag worden aangepast of enkel lezen
- Zorgt voor de communicatie
- Bekijkt hoe toegangsconflicten kunnen worden opgelost
• De DBA is een technische rol
- Enkel verantwoordelijk voor het beheren, bewaken, optimaliseren van de dbms.
- Pleegt nauw overleg met de DA’s
- Volgt de DA’s beslissingen strikt op
Taken van een dbms
• De drie belangrijkste taken
- Databasedefinitie: definiëren van structuur + semantische regels (integriteitsbewaking).
Een semantische regel kan zijn: het veld “geboortejaar” ligt voor het “overledensjaar”.
Men krijgt vervolgens een foutmelding indien dit fout wordt ingevuld.
- Databaseconstructie (primaire bestandsorganisatie)
- Databasemanipulatie (CRUD-operatoren): Create Retrieve Update Delete
• De vier aanvullende taken
- Delen van dezelfde data (geïsoleerd gebruik door gelijktijdige gebruikers)
- Beveiliging van de data (tegen ongeoorloofd gebruik en tegen fysiek falen)
- Optimaal systeemgedrag (optimale responstijden kunnen garanderen)
- Administratie en controle (prestatiestatistieken, gebruikersaccounts, backups, …)
4
,Men kan vervolgens de dbms indelen in 3 niveaus van representatie van een databank = de drielagen-
dbms-architectuur.
• Niveau 0: Fysieke opslag door het besturingssysteem
• Niveau 1: Interne laag met de fysieke structuur
• Niveau 2: Logische laag met het databaseschema
• Niveau 3: Externe laag met diverse views
Niveau 0: We beginnen echter met te duiden dat het besturingssysteem de data zal aanleveren aan de
dbms o.b.v. primaire en secundaire bestandsorganisatie
• Primaire bestandsorganisatie: organisatie van bestanden in fysieke geheugenpagina’s
(tracks/cilinders en sectoren)
• Secundaire bestandsorganisatie: optimalisatie van de toegang tot de inhoud van bestanden
Niveau 1: De interne laag
De data van de databank beschreven als fysieke records (in fysieke recordtypes).
• Primaire bestandsorganisatie: organisatie van records in recordtypes in bestanden (bijv. de
structuur van de recordtypes, vaste/variabele bitlengte, prefix (unieke identificatie),
(on)geordend, parameterinstellingen,…)
• Secundaire bestandsorganisatie: optimalisatie van de toegang tot de records (bijv. adhv indexen,
parameterinstellingen,…).
Welk record vinden we terug
op welk geheugenadres? DBA
zal dit op een slimme manier
beheren om de dbms te
optimaliseren. Zoals het
beslissen van vaste of
variabele lengte van bytes.
Niveau 0 en 1 zijn niet
zichtbaar voor de gebruikers.
5
, Niveau 2: Logische laag
De data van de databank beschreven/gestructureerd in logische recordtypes
• In het geval van een relationele databank: “tabellen” in het databaseschema:
• entiteiten, verwantschappen, gebruikersgedefinieerde operatoren en integriteitsbeperkingen
Naam van recordtype, welke
velden er in dit recordtype
zitten en welk datatype
Niveau 3: Externe laag:
De data van de databank beschreven/gestructureerd in meerdere views. Dit is op maat van de behoeften
en toegangsrechten van gebruikersgroepen. Of verschillend van toepassingsprogramma’s.
Niet elke gebruiker hoort alles te zien of te
doen.
We creëren een vernauwd beeld waarbij je
niet alle record types ziet, maar enkel de
records/velden die jou aanbelangen.
Het voorbeeld links creëert een verschillende
view door een verschillende
programmeercode.
Extra concepten
INDEX
Lijst van koppels van de vorm: <veldwaarde, referentie>, geordend op basis van veldwaarde. Dit laat het
toe om snel, op basis van de veldwaarde, te navigeren door de records.
VB: Stel dat je vaak zoekt op geboortedatum. Je plaatst de geboortedatum in een aparte lijst gekoppeld
aan de prefix als referentie. Je kan vervolgens zoeken in deze geordende indexlijst naar alle schilders met
geboortedatum 1834 op een eenvoudige manier.
VIEW
Views kunnen geïmplementeerd worden:
• In het DBMS: indien er een DDL is die dat ondersteunt
• In de applicatie-code: bv. definitie van attributen in klassen (zie voorbeeld in niveau 3)
Views onderscheiden zich van de logische laag bv. door:
• andere veldnamen: a.d.h.v. afkortingen wordt het cryptischer
• andere datatypes: afronden voor deze gebruiker, exact tot 12 decimalen voor andere gebruiker
• meer/minder velden: niet alle velden zijn voor iedereen interessant of toegelaten (vb. loon)
MAPPINGS
• Van een interne mapping naar logische mapping en omgekeerd
• Van een logische mapping naar meerdere externe mappings (meerdere views) en omgekeerd
• Van een externe mapping naar een andere externe mapping
6
