College aantekeningen Psychometrie (ESSB-E2080)

2.4 Psychometrie


Week 1 – Hoorcollege 1 – Meten in de pedagogische wetenschap en praktijk
Waarom meten in de pedagogiek?
 We hebben data nodig voordat we iets kunnen zeggen over iemand.

Meten in het onderwijs?
 Veel kritiek op huidige testen (CITO); deugt het wel?
 Nadenken waar moet een test aan voldoen?

Meten in de orthopedagogiek?
 Diagnosticeren
 Kritiek: moeten we iedereen wel gelijk in hokjes plaatsen?
 Testen ter ondersteuning, daarna veder kijken

Meten in de wetenschap
 Is er een verband tussen positief opvoedgedrag en prosociaal gedrag?
- Wat is positief opvoedgedrag?
- Hoe wordt dat gemeten? Klopt dat wel?
 Wat is het effect van meer bewegen op school op de leerresultaten?
 In hoeverre wordt het verband tussen kindermishandeling en traumaklachten verklaard door
ouderlijke stress?
 Empirisch, vaak kwantitatief onderzoek
 Dataverzameling in steekproef
 Concepten meten
 Meetinstrumenten ontwikkelen, beoordelen en selecteren

Hoe meten in de pedagogiek?
Observeerbare eigenschappen
 Lichaamslengte
 Makkelijk te meten; accuraat (met het juiste instrument)
 Menselijk gedrag
 Sommige dingen zijn observeerbaar (bv. hoe vaak slaat een kind tijdens het spelen)
 Meten via vragenlijsten

Onobserveerbare eigenschappen
 Intelligentie  IQ-test (WISC)
 Internaliserende gedragsproblemen  Vragenlijst (CBCL)
 Extraversie  Vragenlijst (NED-PI-R)
 Rekenvaardigheden  Test (CITO)
 Kwaliteit van gehechtheid  Observatie (SSP)
Hypothetische constructuren/ latente variabelen  Operationalisaties/ observeerbare indicatoren

Psychologische test
‘A psychological test is a systematic procedure for comparing behaviour of two or more people’
(Cronbach, 1960)
1. Test bestaat uit ‘samples’ van gedrag
2. De gedrag samples zijn verzameld op een systematische manier
3. Het doel is om verschillen tussen mensen te detecteren (of binnen een persoon over tijd of
situaties)
 Brede definitie
 Omvat papieren en online vragenlijsten, computertaakjes, observatie instrumenten
 Resulteert in verschillende type data (hoeveelheid, indeling in groepen)
 Kwantificeren van inter- en intra-individuele verschillen

Typen testen
Verschillen Voorbeelden

,2.4 Psychometrie


Inhoud Gedrag, prestatie, emoties, etc.
Antwoordopties Open of gesloten vragen
Methode van afname Individueel of groep
Gebruik Criterium- of normgerefereerd
Criterium: van tevoren bepaalde eis (x aantal
vragen goed voor een voldoende)
Normgerefereerd: relatief tot gemiddelde
Tijd Speeded vs. Power tests
Speeded: hoeveel/ hoe snel kan je iets uitvoeren
Power: kan je iets wel/niet goed
Betekenis van indicatoren Reflectief (effect) of Formatief (causal)
Reflectief: theoretisch construct met indicatoren
(extraversie) – latent construct bepaald de
antwoorden op de indicatoren
Formatief: indicatoren bepalen (SES)

Uitdagingen van meten
 Complexiteit van de concepten (te vatten in 1 getal?)
 Deelnemers reactiviteit (bijvoorbeeld sociale wenselijkheid)
 Ook wanneer iemand geen zin in heeft en maar wat invult
 Observer (of scorer) bias
 Wanneer de persoon die observeert bewust of onbewust de scores beïnvloed
 Bijvoorbeeld wanneer ouders een vragenlijst over hun kind(eren) invullen
 Composite scores (= alle scores bij elkaar opgeteld)
 Soms moeilijk om alle scores bij elkaar samen te nemen; mis je waarschijnlijk belangrijke
dingen
 Kan met meerdere composite scores werken
 Score sensitiviteit
 Kan ik onderscheid als er daadwerkelijk verschil zit tussen participanten
 Ja/nee vraag is niet sensitief: kan niet goed onderscheid maken
 Score 1 t/m 100 is wel sensitief; kan betekenisvol verschil zien
 Gebrek aan kennis over psychometrie
 Vaak geen check om te kijken of je meet wat je zegt te meten

Schalen
 Nummers toekennen aan psychologische attributen
 Kenmerken van getallen:
 Identiteit (zelfde of verschillend)
 Volgorde (meer of minder)
 Kwantiteit (exacte hoeveelheid)
 Betekenis van 0?
 Absoluut: komt niet voor (geeft gebrek aan iets aan)
 Arbitrair (kan bijvoorbeeld een gemiddelde zijn): - getallen komen voor

Belangrijke (statistische) concepten
Meetniveaus
 Nominaal: categorisch, geen rangorde
 Ordinaal: categorisch, rangorde
 Interval: continu, geen nulpunt
 Ratio: continu, heeft een nulpunt (2x zo vaak speelgoed gedeeld)

Variabiliteit
 Variantie is goed (mits het wordt veroorzaakt door dat gene wat je probeert te meten)
 Er zijn twee soorten variabiliteit:

,2.4 Psychometrie


 Interindividuele verschillen: verschillen tussen individuen (hoe verschillen individuen
onderling)
 Intra-individuele verschillen: verschillen binnen individuen (meer/minder agressief
gedrag)
 Individuele verschillen zijn belangrijk omdat:
 Ze vormen vaak de kern van het pedagogische onderzoek
 Ze zijn van fundamenteel belang voor psychologische metingen
 Het kwantificeren van de hoeveelheid variabiliteit binnen een verdeling van scores is een
belangrijk onderdeel van pedagogisch onderzoek
 Scores die niet variëren zijn nutteloos!

Variabiliteit en de verdeling van scores
 Centrale tendens: wat is de meest typische score in de verdeling? (Welke score is typisch voor
de groep?)
 Gemiddelde
 Mediaan
 Modus
 Variabiliteit: hoeveel spreiding zit er in de scores?
 Variantie
 Standaarddeviatie
 Range

Voorbeeld: verdeling van scores




Voorbeeld: gemiddelde en variantie




 Variantie: hoeveel wijkt iedereen af van het gemiddelde?
 Wortel van variantie = standaarddeviatie
*Gebruikt geen N-1, omdat je binnen je sample rekent en niet naar de populatie kijkt
Voorbeeld: samenhang

, 2.4 Psychometrie




 Richting van het verband?
 Positief
 Grootte van het verband?
 Correlatie

Voorbeeld: covariantie en correlatie
Covariantie: in hoeverre variëren de scores van individuen in dezelfde richting (op beide items)
 Bij heel veel inconsistentie, lage covariantie en lage correlatie
 Bijvoorbeeld persoon 1; covarieert = consistent
 Zit op leeftijd onder gemiddelde
 Zit op werkgeheugen onder gemiddelde




Voorbeeld: variantie-covariantiematrix




Composiet scores
 Een composiet score is een samengestelde score: een score die is opgebouwd uit andere scores
 Bijvoorbeeld: mijn totaalscore op een vragenlijst die ADHD meet, is de som van mijn
antwoorden op de vragen
 Twee componenten van AD/HD:
 Aandachtstekorten (eerste 4 items)
 Hyperactiviteit (laatste 2 items)




Composiet scores