Single Item Measures in Psychological Science (Allen et al., 2025)*
Herwaardering van single-item measures (SIMs). In veel gevallen een valide, efficiënte en ethisch verantwoorde keuze zijn, mits goed
gevalideerd. Nadelen: Lage/onbekende betrouwbaarheid: Niet mogelijk interne consistentie te meten. Test-hertest betrouwbaarheid
vereist longitudinale data (zelden beschikbaar). Extra gevoelig voor meetfouten. Complexiteit constructen: Moeilijk complexe of
multidimensionale constructen te meten. Minder responsopties kunnen de nuance beperken. Minder geschikt brede constructen zoals
persoonlijkheid of emoties. Voordelen: Efficiëntie: Minder tijd en middelen nodig. Ideaal voor grootschalige surveys of tijdsdruk. Beter
geschikt voor kwetsbare doelgroepen. Hogere tevredenheid deelnemers: Kortere vragenlijsten verminderen frustratie en verhoogt
bereidheid tot deelname. Lagere kosten: Minder verwerkings- en analysekosten. Vooral relevant bij niet digitale methoden. Minder
ambiguïteit: Eén duidelijk geformuleerde item kan soms beter zijn dan meerdere vage items.
Validatiemethoden voor SIMs: Face Validity: Hoe logisch en duidelijk is item voor respondenten. Belangrijke aspecten: relevantie,
duidelijkheid, neutraliteit, etc. Convergente Validiteit: Correlatie met gevalideerde multi-item maat. Vuistregel acceptabele correlaties: r
≥ .90 = excellent, r ≥ .80 = goed, r ≥ .70 = acceptabel. Predictieve Validiteit: Kan item theoretisch relevante uitkomsten voorspellen?
Concurrent validity: vergelijkbare effect-size tussen voorspellende power SIM en die van multiple-item measure levert bewijs voor SIM.
Test-hertest Betrouwbaarheid: Voor stabiele constructen (bv. attitudes) moeten scores van beide metingen met elkaar correleren, > .70
wenselijk. Conclusie: SIMs niet per definitie inferieur aan multi-item schalen. Voor duidelijke, eendimensionale constructen zijn voldoende
én voordeliger.
Measurement Matters: Assessing Personal Qualities Other Than Cognitive Ability for Educational Purposes
(Duckworth & Yaeger, 2015)*
Er is groeiende interesse in meten persoonlijke kwaliteiten als zelfcontrole. Eigenschappen zijn belangrijk voor schoolsucces, maar huidige
meetinstrumenten (vragenlijsten en prestatie-taken) zijn beperkt in betrouwbaarheid en geschiktheid voor beleids- en
praktijkdoeleinden. Persoonlijke kwaliteiten (non-cognitieve vaardigheden): Vaardigheden zoals doorzettingsvermogen, zelfbeheersing
voorspellen succes op school en in leven. Term non-cognitief problematisch, want eigenschappen zijn wél cognitief van aard (zelfcontrole
vereist executieve functies). Andere term: 21st century skills.
Meten van kwaliteiten: Zelfrapportage (vragenlijsten door studenten). ✅ goedkoop, snel, geschikt voor interne staten (emoties,
motivatie). ❌ Interpretatieverschillen, Referentiekader-bias (strenge leerlingen scoren zichzelf lager), Sociale wenselijkheid/faken, Niet
gevoelig voor kleine/korte termijnveranderingen. Lerarenrapportage. ✅ externe observaties, brede ervaring leerlingen. ❌ Beperkte
context (klasgedrag), Beïnvloeding door eerste indruk of halo-effect, Referentiekader-bias. Performance tasks (vb. Marshmallow-test).
✅objectieve gedragsobservatie, geen faking, gevoelig voor verandering. ❌ Moeilijk interpreteren (wat meet je echt?), Situationele
invloeden (tijdstip, omgeving), Praktijkeffecten (oefening maakt beter), Kost veel tijd/geld om op schaal te gebruiken. Validiteit hangt af van
doel meting: Programma-evaluatie: Performance tasks beter; vragenlijsten te biasgevoelig. Verantwoording (accountability): Huidige
meetinstrumenten onbetrouwbaar en kunnen leiden tot verkeerde conclusies. Individuele diagnose: Vragenlijsten niet nauwkeurig genoeg
voor beslissingen over individuele leerlingen. Praktijkverbetering: Korte, contextspecifieke vragenlijsten of taken nuttig voor feedback klas.
Aanbevelingen: Gebruik meerdere meetmethoden tegelijk (multi-method). Ontwikkel nieuwe, korte, digitale performance-taken. Vermijd
metingen schoolvergelijkingen of individuele diagnoses. Focus op praktische toepassingen en verbetering in de klas, niet verantwoording.
Assessment quality in tertiary education: An integrative literature review*
Beoordelingskwaliteit omvat alle aspecten van beoordelingsproces, zoals testitems, taken, procedures, beleid en administratie. Slechte
beoordeling kan negatieve gevolgen hebben op leeruitkomsten, selectie, certificering en institutionele verantwoordelijkheid. In hoger
onderwijs spelen beoordelingen cruciale rol bij bepalen of studenten voldoen aan maatschappelijke eisen zoals kritisch denken en
innovatie. Toetskwaliteitscriteria: Belangrijkste criteria voor kwaliteit beoordelingen zijn: Validiteit meest besproken en omvat construct-,
inhouds- en criteriumvaliditeit. Belangrijke subcriteria: Meaningfulness (toegevoegde waarde), Educational consequences (effecten op
leren). Transparantie helpt studenten beter te begrijpen hoe ze beoordeeld worden, terwijl betrouwbaarheid gaat over de consistentie en
precisie van testresultaten. Invloeden op toetskwaliteit: Standaardisatie: Regels, procedures, rubrics etc. Verbetert validiteit, transparantie
én betrouwbaarheid. Stakeholders: Studenten, docenten, werkgevers beïnvloeden hoe eerlijk en begrijpelijk beoordelingen zijn.
Helderheid: Onduidelijke instructies verlagen validiteit. Duidelijkheid verhoogt eerlijkheid en consistentie. Construct-irrelevante variantie:
Test meet onbedoelde zaken (taalvaardigheid ipv vakinhoud). Groot risico voor validiteit. Evaluatie toetskwaliteit: Validatieprocessen:
beoordeelt of interpretaties en beslissingen o.b.v. testscores gerechtvaardigd zijn. Statistische analyses: meten testkwaliteit via
itemanalyse (moeilijkheid, discriminatie), betrouwbaarheidsmetingen (Cronbach’s alpha), en factoranalyses. Perspectieven op beoordeling
toetskwaliteit: Studenten: benadrukken eerlijkheid, transparantie en moeilijkheidsgraad. Docenten & Onderwijspersoneel: Focus=
uitvoerbaarheid en werkdruk. Vinden transparantie en betrouwbaarheid belangrijk. Overheid: gericht op regelgeving en beleidsaspecten
die invloed hebben op toetskwaliteit. Experts Bieden theoretische kaders en richtlijnen. Betrokken bij validatie en beleidsvorming.
Historische ontwikkeling van toetsing: Van focus op objectieve, gestandaardiseerde tests (behaviorisme) ➜ nadruk op leren, authenticiteit,
formatieve toetsing (constructivisme). Toetsing van invloed op leren: “assessment drives learning.”
One Size Doesn’t Fit All: Using Factor Analysis to Gather Validity Evidence When Using Surveys in Your Research (Knekta et al., 2019)
Artikel bespreekt belang validiteit bij gebruik vragenlijsten in onderwijs- en gedragswetenschappelijk onderzoek. Variabelen die
onderzoekers willen meten die niet direct observeerbaar, zijn latente variabelen. Om deze variabelen te bestuderen, verzamelen
onderzoekers meerdere gerelateerde observeerbare variabelen (antwoorden enquêtevragen) en gebruiken deze om conclusies te trekken
over latente variabele. Om aantal items samen te voegen tot één construct, moet onderzoeker bewijsmateriaal leveren dat deze items
werkelijk hetzelfde construct vertegenwoordigen. Focus ligt op factoranalyse als methode om validiteitsevidentie te verzamelen, vooral
m.b.t. interne structuur van instrument. Validiteit: hoe goed een meetinstrument meet wat het bedoelt te meten. Geen eigenschap van
vragenlijst zelf, maar van gebruik in specifieke context. Elke keer dat je een instrument in een nieuwe context gebruikt, opnieuw
validiteitsevidentie verzamelen. Vijf soorten validiteitsevidentie: Op basis van inhoud: Sluiten vragen goed aan bij construct? O.b.v.
responsprocessen: Begrijpen respondenten vragen zoals bedoeld? O.b.v. interne structuur, Factoranalyse: meten vragen samen hetzelfde?
O.b.v. relaties andere variabelen: Correlatie andere (vergelijkbare) meetinstrumenten. O.b.v. testgevolgen: Zijn consequenties van gebruik
test zoals bedoeld?
Dimensionaliteit verwijst naar aantal constructen of aspecten dat instrument meet. Unidimensionale schaal: meet één construct. Er moet
empirisch bewijs zijn dat alle items samen één construct meten. Anders interpretatie meting problematisch. Multidimensionale schaal:
meet meerdere gerelateerde constructen of verschillende aspecten van construct. Moet getest worden of items daadwerkelijk
verschillende constructen meten, afhankelijk van doelgroep. Cronbach’s alpha: vaak verkeerd gebruikt als bewijs voor validiteit (niet enige
maatstaf). Meetfouten beïnvloeden antwoorden en moeten geminimaliseerd worden voor hogere betrouwbaarheid. Betrouwbaarheid kan
Herwaardering van single-item measures (SIMs). In veel gevallen een valide, efficiënte en ethisch verantwoorde keuze zijn, mits goed
gevalideerd. Nadelen: Lage/onbekende betrouwbaarheid: Niet mogelijk interne consistentie te meten. Test-hertest betrouwbaarheid
vereist longitudinale data (zelden beschikbaar). Extra gevoelig voor meetfouten. Complexiteit constructen: Moeilijk complexe of
multidimensionale constructen te meten. Minder responsopties kunnen de nuance beperken. Minder geschikt brede constructen zoals
persoonlijkheid of emoties. Voordelen: Efficiëntie: Minder tijd en middelen nodig. Ideaal voor grootschalige surveys of tijdsdruk. Beter
geschikt voor kwetsbare doelgroepen. Hogere tevredenheid deelnemers: Kortere vragenlijsten verminderen frustratie en verhoogt
bereidheid tot deelname. Lagere kosten: Minder verwerkings- en analysekosten. Vooral relevant bij niet digitale methoden. Minder
ambiguïteit: Eén duidelijk geformuleerde item kan soms beter zijn dan meerdere vage items.
Validatiemethoden voor SIMs: Face Validity: Hoe logisch en duidelijk is item voor respondenten. Belangrijke aspecten: relevantie,
duidelijkheid, neutraliteit, etc. Convergente Validiteit: Correlatie met gevalideerde multi-item maat. Vuistregel acceptabele correlaties: r
≥ .90 = excellent, r ≥ .80 = goed, r ≥ .70 = acceptabel. Predictieve Validiteit: Kan item theoretisch relevante uitkomsten voorspellen?
Concurrent validity: vergelijkbare effect-size tussen voorspellende power SIM en die van multiple-item measure levert bewijs voor SIM.
Test-hertest Betrouwbaarheid: Voor stabiele constructen (bv. attitudes) moeten scores van beide metingen met elkaar correleren, > .70
wenselijk. Conclusie: SIMs niet per definitie inferieur aan multi-item schalen. Voor duidelijke, eendimensionale constructen zijn voldoende
én voordeliger.
Measurement Matters: Assessing Personal Qualities Other Than Cognitive Ability for Educational Purposes
(Duckworth & Yaeger, 2015)*
Er is groeiende interesse in meten persoonlijke kwaliteiten als zelfcontrole. Eigenschappen zijn belangrijk voor schoolsucces, maar huidige
meetinstrumenten (vragenlijsten en prestatie-taken) zijn beperkt in betrouwbaarheid en geschiktheid voor beleids- en
praktijkdoeleinden. Persoonlijke kwaliteiten (non-cognitieve vaardigheden): Vaardigheden zoals doorzettingsvermogen, zelfbeheersing
voorspellen succes op school en in leven. Term non-cognitief problematisch, want eigenschappen zijn wél cognitief van aard (zelfcontrole
vereist executieve functies). Andere term: 21st century skills.
Meten van kwaliteiten: Zelfrapportage (vragenlijsten door studenten). ✅ goedkoop, snel, geschikt voor interne staten (emoties,
motivatie). ❌ Interpretatieverschillen, Referentiekader-bias (strenge leerlingen scoren zichzelf lager), Sociale wenselijkheid/faken, Niet
gevoelig voor kleine/korte termijnveranderingen. Lerarenrapportage. ✅ externe observaties, brede ervaring leerlingen. ❌ Beperkte
context (klasgedrag), Beïnvloeding door eerste indruk of halo-effect, Referentiekader-bias. Performance tasks (vb. Marshmallow-test).
✅objectieve gedragsobservatie, geen faking, gevoelig voor verandering. ❌ Moeilijk interpreteren (wat meet je echt?), Situationele
invloeden (tijdstip, omgeving), Praktijkeffecten (oefening maakt beter), Kost veel tijd/geld om op schaal te gebruiken. Validiteit hangt af van
doel meting: Programma-evaluatie: Performance tasks beter; vragenlijsten te biasgevoelig. Verantwoording (accountability): Huidige
meetinstrumenten onbetrouwbaar en kunnen leiden tot verkeerde conclusies. Individuele diagnose: Vragenlijsten niet nauwkeurig genoeg
voor beslissingen over individuele leerlingen. Praktijkverbetering: Korte, contextspecifieke vragenlijsten of taken nuttig voor feedback klas.
Aanbevelingen: Gebruik meerdere meetmethoden tegelijk (multi-method). Ontwikkel nieuwe, korte, digitale performance-taken. Vermijd
metingen schoolvergelijkingen of individuele diagnoses. Focus op praktische toepassingen en verbetering in de klas, niet verantwoording.
Assessment quality in tertiary education: An integrative literature review*
Beoordelingskwaliteit omvat alle aspecten van beoordelingsproces, zoals testitems, taken, procedures, beleid en administratie. Slechte
beoordeling kan negatieve gevolgen hebben op leeruitkomsten, selectie, certificering en institutionele verantwoordelijkheid. In hoger
onderwijs spelen beoordelingen cruciale rol bij bepalen of studenten voldoen aan maatschappelijke eisen zoals kritisch denken en
innovatie. Toetskwaliteitscriteria: Belangrijkste criteria voor kwaliteit beoordelingen zijn: Validiteit meest besproken en omvat construct-,
inhouds- en criteriumvaliditeit. Belangrijke subcriteria: Meaningfulness (toegevoegde waarde), Educational consequences (effecten op
leren). Transparantie helpt studenten beter te begrijpen hoe ze beoordeeld worden, terwijl betrouwbaarheid gaat over de consistentie en
precisie van testresultaten. Invloeden op toetskwaliteit: Standaardisatie: Regels, procedures, rubrics etc. Verbetert validiteit, transparantie
én betrouwbaarheid. Stakeholders: Studenten, docenten, werkgevers beïnvloeden hoe eerlijk en begrijpelijk beoordelingen zijn.
Helderheid: Onduidelijke instructies verlagen validiteit. Duidelijkheid verhoogt eerlijkheid en consistentie. Construct-irrelevante variantie:
Test meet onbedoelde zaken (taalvaardigheid ipv vakinhoud). Groot risico voor validiteit. Evaluatie toetskwaliteit: Validatieprocessen:
beoordeelt of interpretaties en beslissingen o.b.v. testscores gerechtvaardigd zijn. Statistische analyses: meten testkwaliteit via
itemanalyse (moeilijkheid, discriminatie), betrouwbaarheidsmetingen (Cronbach’s alpha), en factoranalyses. Perspectieven op beoordeling
toetskwaliteit: Studenten: benadrukken eerlijkheid, transparantie en moeilijkheidsgraad. Docenten & Onderwijspersoneel: Focus=
uitvoerbaarheid en werkdruk. Vinden transparantie en betrouwbaarheid belangrijk. Overheid: gericht op regelgeving en beleidsaspecten
die invloed hebben op toetskwaliteit. Experts Bieden theoretische kaders en richtlijnen. Betrokken bij validatie en beleidsvorming.
Historische ontwikkeling van toetsing: Van focus op objectieve, gestandaardiseerde tests (behaviorisme) ➜ nadruk op leren, authenticiteit,
formatieve toetsing (constructivisme). Toetsing van invloed op leren: “assessment drives learning.”
One Size Doesn’t Fit All: Using Factor Analysis to Gather Validity Evidence When Using Surveys in Your Research (Knekta et al., 2019)
Artikel bespreekt belang validiteit bij gebruik vragenlijsten in onderwijs- en gedragswetenschappelijk onderzoek. Variabelen die
onderzoekers willen meten die niet direct observeerbaar, zijn latente variabelen. Om deze variabelen te bestuderen, verzamelen
onderzoekers meerdere gerelateerde observeerbare variabelen (antwoorden enquêtevragen) en gebruiken deze om conclusies te trekken
over latente variabele. Om aantal items samen te voegen tot één construct, moet onderzoeker bewijsmateriaal leveren dat deze items
werkelijk hetzelfde construct vertegenwoordigen. Focus ligt op factoranalyse als methode om validiteitsevidentie te verzamelen, vooral
m.b.t. interne structuur van instrument. Validiteit: hoe goed een meetinstrument meet wat het bedoelt te meten. Geen eigenschap van
vragenlijst zelf, maar van gebruik in specifieke context. Elke keer dat je een instrument in een nieuwe context gebruikt, opnieuw
validiteitsevidentie verzamelen. Vijf soorten validiteitsevidentie: Op basis van inhoud: Sluiten vragen goed aan bij construct? O.b.v.
responsprocessen: Begrijpen respondenten vragen zoals bedoeld? O.b.v. interne structuur, Factoranalyse: meten vragen samen hetzelfde?
O.b.v. relaties andere variabelen: Correlatie andere (vergelijkbare) meetinstrumenten. O.b.v. testgevolgen: Zijn consequenties van gebruik
test zoals bedoeld?
Dimensionaliteit verwijst naar aantal constructen of aspecten dat instrument meet. Unidimensionale schaal: meet één construct. Er moet
empirisch bewijs zijn dat alle items samen één construct meten. Anders interpretatie meting problematisch. Multidimensionale schaal:
meet meerdere gerelateerde constructen of verschillende aspecten van construct. Moet getest worden of items daadwerkelijk
verschillende constructen meten, afhankelijk van doelgroep. Cronbach’s alpha: vaak verkeerd gebruikt als bewijs voor validiteit (niet enige
maatstaf). Meetfouten beïnvloeden antwoorden en moeten geminimaliseerd worden voor hogere betrouwbaarheid. Betrouwbaarheid kan
