Begrippenlijst studiewijzer (+ cursus)
Inleiding
begripsvaliditeit de mate waarin een bepaalde meting/test/vragenlijst verband houdt met andere
metingen die consistent zijn met theoretisch afgeleide hypothesen over het
concept dat wordt gemeten
betrouwbaarheid ● dat je meet
● consistentie over herhaalde metingen (= systematisch)
○ items binnen een test
○ OF
○ verschillende meetmomenten van dezelfde test
continu vs. categorisch Kan in een bepaald interval iedere waarde aannemen. Tussen twee willekeurige
waarden ligt altijd nog een tussenliggende waarde. → een continu score tussen 0
en 2 kan bijvoorbeeld 1 zijn, maar ook 1,2 of 1,3 maar daartussen ligt nog 1,24
bvb.
Continu: variabele die in gradaties voorkomt (aangeduid met getallen) (cursus)
Een categorische variabele is een grootheid die op nominale schaal gemeten is of
op ordinale schaal, maar waarvan de waarden geen meetbare hoeveelheden
voorstellen, die dus niet gesommeerd kunnen worden tot totalen.
criteriumvaliditeit het doel van criteriumvaliditeit is om gedrag (= criterium) te voorspellen dat
buiten de test ligt
gelijktijdige validiteit het criterium wordt ongeveer gelijktijdig gemeten op het moment dat de test is
afgenomen
inhoudsuniversum kunnen we dat domein goed omschrijven? is dat het volledige domein?
inhoudsvaliditeit de mate waarin een test (empirische meting) een bepaald inhoudsdomein
weerspiegelt
meetfout *De meetfout is de afwijking tussen de gemeten waarde en de werkelijke
waarden.
*Onderscheid toevallige en niet-toevallige (systematische) meetfouten.
*Systematische meetfouten wijzen op bias
meten De toewijzing van getallen aan objecten of gebeurtenissen in overeenstemming
met regels
Bij abstracte concepten
= het proces waarbij abstracte concepten gelinkt worden aan empirische
indicatoren
● abstracte concepten = theoretisch niveau
● empirische indicatoren = empirisch niveau
multidimensioneel verschillende aspecten worden beoordeeld
predictieve validiteit de validiteit tussen de test en een toekomstig criterium
systematische fout = een fout die herhaaldelijk voorkomt over
1
, ● respondenten of groepen van respondenten
○ 1 respondent over meerdere toetsen
○ meerdere respondenten op 1 (of meerdere) toetsen
● over items of voor één item is er item bias of DIF voor bepaalde groepen
respondenten
● over beoordelaars of voor één beoordelaar voor bepaalde groepen van
respondenten
Systematische meeftout:
In klassieke testtheorie veronderstelt men dat de ware scores ontleed kunnen
worden in een ware score en een error score. Als de error niet random is, dan
spreekt men van een systematische meetfout (‘bias’). De validiteit van wat er
gemeten wordt komt hierdoor in het gedrang.
toevallig fout Alle toevalsfactoren die de meting van elk fenomeen kunnen verstoren
unidimenisoneel verschillende items meten één begrip
validiteit ● wat je meet
● de mate waarin de indicatoren of een meetinstrument meet wat het
bedoelt te meten (= doelmatigheid)
Contaminatie van het criterium De testuitslagen raken mogelijk bij een latere beoordelaar bekend. Als deze
(self-fulfilling prophecy) beoordelaar zijn oordelen door deze kennis laat beïnvloeden (vb. volgens de test
was Jan al een twijfelgeval en dat zei ik terug in zijn werk) en zijn oordelen
worden als criteriummaat in valideringsonderzoek gebruikt, dan is duidelijk dat
de testscore en criteriumscore niet meer onafhankelijk zijn vastgesteld. Als hier
sprake van is, valt de correlatie tss test- en criteriumscore kunstmatig hoog uit
omdat de beoordelaar zelf de criteriumscores (min of meer onbewust) in
overeenstemming brengt met de testscores die als voorspeller dienden
Toegang hoger onderwijs
cesuurbepaling Een bepaalde lat leggen
vb. toelatingsproef met startcompetentie: vraag of de student de
startcompetenties haalt
cesuur: de grens tussen het behalen van de startcompetentie en het
(nog) niet behalen van de startcompetentie
compensatorische regel Je hoeft niet op elk onderdeel apart te slagen, zolang je totaal nog voldoende is.
en/of de laagste score mag niet lager zijn dan 8/20 (= gedeeltelijk
compensatorische regel)
(vb. tolerantiepunten)
conjunctieve regel Je moet op elk onderdeel apart slagen
vb. talen: frans, nederlands en duits
contaminatie criterium komt voor wanneer een echt criterium informatie bevat dat niet
gerelateerd is aan het gedrag dat de onderzoeker probeert te meten.
kritische criteriumscore = minimum criterium (het niveau) die studenten moeten behalen om toegelaten
te worden
2
, kritische testscore = de grens die bepaalt als studenten afgewezen of toegestaan worden tot de
opleiding
misser Foutieve beslissingen bij test met predictieve validiteit.
Kwadrant A en D zijn missers want voor hen werd de foute beslissing gemaakt
A: scoren meer dan de kritische criteriumscore, maar minder dan de kritische
testscore
=> niet toegelaten, ook al haalden ze het criterium = onterecht afwijzen
D: scoren minder dan de kritische criteriumscore, maar meer dan de kritische
testscore
=> wel toegelaten ook al haalden ze het criterium niet = onterecht toelaten
restriction of range = variatiebeperking
Door uitval van deelnemers zal er een restriction of range zijn
= wanneer bij 2 metingen de sterkste en de zwakste uitvallen bij de tweede
meting omdat ze iets anders gaan doen (afhanken/afgewezen vs. ander aanbod)
GEVOLG: daling van r(test,criterium) door onderschatting van de predictieve
waarde
selectie Toelatingsproeven worden ingezet om studenten/werknemers/etc te selecteren.
vb.
Selectie voor een job adhv jobinterview
Selectie gediplomeerden adhv examens
selectieratio Hoeveel van de totale groep heb je toegelaten?
(B+D)/(A+B+C+D)
self-fulfilling prophecy = pygmalion effect
Positieve feedback op testscores gaan de resultaten van studenten mogelijks
beïnvloeden:
positieve feedback → hoge motivatie student → hoge studieresultaten
startcompetentie Aan de hand van instaptoetsen is het mogelijk om inzicht te verwerven in
je startcompetenties → competenties waarmee je je hogere opleiding
start
vb. instaptoets lerarenopleiding
succesratio Hoeveel procent van de studenten die toegelaten zijn (scoren meer dan kritische
testscore) slagen ook effectief in de toekomst?
B/(B+D)
vb. oxford university -> hoge succesratio -> bijna alle studenten die toegelaten
zijn slagen ook (reden: zeer strenge selectie)
Beïnvloedende factoren van r(test,criterium)
succesratio toevalskans
selectieratio
toelatingsproef een proef waarvoor een student moet slagen om toegelaten te kunnen
3
Inleiding
begripsvaliditeit de mate waarin een bepaalde meting/test/vragenlijst verband houdt met andere
metingen die consistent zijn met theoretisch afgeleide hypothesen over het
concept dat wordt gemeten
betrouwbaarheid ● dat je meet
● consistentie over herhaalde metingen (= systematisch)
○ items binnen een test
○ OF
○ verschillende meetmomenten van dezelfde test
continu vs. categorisch Kan in een bepaald interval iedere waarde aannemen. Tussen twee willekeurige
waarden ligt altijd nog een tussenliggende waarde. → een continu score tussen 0
en 2 kan bijvoorbeeld 1 zijn, maar ook 1,2 of 1,3 maar daartussen ligt nog 1,24
bvb.
Continu: variabele die in gradaties voorkomt (aangeduid met getallen) (cursus)
Een categorische variabele is een grootheid die op nominale schaal gemeten is of
op ordinale schaal, maar waarvan de waarden geen meetbare hoeveelheden
voorstellen, die dus niet gesommeerd kunnen worden tot totalen.
criteriumvaliditeit het doel van criteriumvaliditeit is om gedrag (= criterium) te voorspellen dat
buiten de test ligt
gelijktijdige validiteit het criterium wordt ongeveer gelijktijdig gemeten op het moment dat de test is
afgenomen
inhoudsuniversum kunnen we dat domein goed omschrijven? is dat het volledige domein?
inhoudsvaliditeit de mate waarin een test (empirische meting) een bepaald inhoudsdomein
weerspiegelt
meetfout *De meetfout is de afwijking tussen de gemeten waarde en de werkelijke
waarden.
*Onderscheid toevallige en niet-toevallige (systematische) meetfouten.
*Systematische meetfouten wijzen op bias
meten De toewijzing van getallen aan objecten of gebeurtenissen in overeenstemming
met regels
Bij abstracte concepten
= het proces waarbij abstracte concepten gelinkt worden aan empirische
indicatoren
● abstracte concepten = theoretisch niveau
● empirische indicatoren = empirisch niveau
multidimensioneel verschillende aspecten worden beoordeeld
predictieve validiteit de validiteit tussen de test en een toekomstig criterium
systematische fout = een fout die herhaaldelijk voorkomt over
1
, ● respondenten of groepen van respondenten
○ 1 respondent over meerdere toetsen
○ meerdere respondenten op 1 (of meerdere) toetsen
● over items of voor één item is er item bias of DIF voor bepaalde groepen
respondenten
● over beoordelaars of voor één beoordelaar voor bepaalde groepen van
respondenten
Systematische meeftout:
In klassieke testtheorie veronderstelt men dat de ware scores ontleed kunnen
worden in een ware score en een error score. Als de error niet random is, dan
spreekt men van een systematische meetfout (‘bias’). De validiteit van wat er
gemeten wordt komt hierdoor in het gedrang.
toevallig fout Alle toevalsfactoren die de meting van elk fenomeen kunnen verstoren
unidimenisoneel verschillende items meten één begrip
validiteit ● wat je meet
● de mate waarin de indicatoren of een meetinstrument meet wat het
bedoelt te meten (= doelmatigheid)
Contaminatie van het criterium De testuitslagen raken mogelijk bij een latere beoordelaar bekend. Als deze
(self-fulfilling prophecy) beoordelaar zijn oordelen door deze kennis laat beïnvloeden (vb. volgens de test
was Jan al een twijfelgeval en dat zei ik terug in zijn werk) en zijn oordelen
worden als criteriummaat in valideringsonderzoek gebruikt, dan is duidelijk dat
de testscore en criteriumscore niet meer onafhankelijk zijn vastgesteld. Als hier
sprake van is, valt de correlatie tss test- en criteriumscore kunstmatig hoog uit
omdat de beoordelaar zelf de criteriumscores (min of meer onbewust) in
overeenstemming brengt met de testscores die als voorspeller dienden
Toegang hoger onderwijs
cesuurbepaling Een bepaalde lat leggen
vb. toelatingsproef met startcompetentie: vraag of de student de
startcompetenties haalt
cesuur: de grens tussen het behalen van de startcompetentie en het
(nog) niet behalen van de startcompetentie
compensatorische regel Je hoeft niet op elk onderdeel apart te slagen, zolang je totaal nog voldoende is.
en/of de laagste score mag niet lager zijn dan 8/20 (= gedeeltelijk
compensatorische regel)
(vb. tolerantiepunten)
conjunctieve regel Je moet op elk onderdeel apart slagen
vb. talen: frans, nederlands en duits
contaminatie criterium komt voor wanneer een echt criterium informatie bevat dat niet
gerelateerd is aan het gedrag dat de onderzoeker probeert te meten.
kritische criteriumscore = minimum criterium (het niveau) die studenten moeten behalen om toegelaten
te worden
2
, kritische testscore = de grens die bepaalt als studenten afgewezen of toegestaan worden tot de
opleiding
misser Foutieve beslissingen bij test met predictieve validiteit.
Kwadrant A en D zijn missers want voor hen werd de foute beslissing gemaakt
A: scoren meer dan de kritische criteriumscore, maar minder dan de kritische
testscore
=> niet toegelaten, ook al haalden ze het criterium = onterecht afwijzen
D: scoren minder dan de kritische criteriumscore, maar meer dan de kritische
testscore
=> wel toegelaten ook al haalden ze het criterium niet = onterecht toelaten
restriction of range = variatiebeperking
Door uitval van deelnemers zal er een restriction of range zijn
= wanneer bij 2 metingen de sterkste en de zwakste uitvallen bij de tweede
meting omdat ze iets anders gaan doen (afhanken/afgewezen vs. ander aanbod)
GEVOLG: daling van r(test,criterium) door onderschatting van de predictieve
waarde
selectie Toelatingsproeven worden ingezet om studenten/werknemers/etc te selecteren.
vb.
Selectie voor een job adhv jobinterview
Selectie gediplomeerden adhv examens
selectieratio Hoeveel van de totale groep heb je toegelaten?
(B+D)/(A+B+C+D)
self-fulfilling prophecy = pygmalion effect
Positieve feedback op testscores gaan de resultaten van studenten mogelijks
beïnvloeden:
positieve feedback → hoge motivatie student → hoge studieresultaten
startcompetentie Aan de hand van instaptoetsen is het mogelijk om inzicht te verwerven in
je startcompetenties → competenties waarmee je je hogere opleiding
start
vb. instaptoets lerarenopleiding
succesratio Hoeveel procent van de studenten die toegelaten zijn (scoren meer dan kritische
testscore) slagen ook effectief in de toekomst?
B/(B+D)
vb. oxford university -> hoge succesratio -> bijna alle studenten die toegelaten
zijn slagen ook (reden: zeer strenge selectie)
Beïnvloedende factoren van r(test,criterium)
succesratio toevalskans
selectieratio
toelatingsproef een proef waarvoor een student moet slagen om toegelaten te kunnen
3
