Onderzoeksmethoden en technieken I (2020-2021) Hanne Vogelaers
H1. Psychometrie 4
1.1. Psychologische tests in de praktijk 4
1.2. Het belang van psychologische testen 4
1.3. Definitie van psychologische test 4
1.4. Geschiedenis van psychologische testen 5
Vroege vormen van testing 5
Experimentele psychologie 5
1.5. Verschillende soorten psychologische testen 7
1.5.1. Intelligentietests 7
1.5.2. Neuropsychologische test 8
1.5.3. Persoonlijkheidstests 9
1.5.4. Individuele vs groepstests 9
H2. Schalen en meetwaarden 10
2.1. Operationaliseren van constructen 10
2.2. Eigenschappen van getallen 10
2.2.1. Identiteit 10
2.2.2. Orde 10
2.2.3. Kwantiteit 10
2.2.4. Het getal 0 10
2.3. Meeteenheden 11
2.4. Additiviteit 11
2.5. Vier verschillende meetschalen 11
2.5.1. Nominaal 12
2.5.2. Ordinaal 12
2.5.3. Interval 12
2.5.4. Ratio 12
2.5.5 Meetschalen in de praktijk 12
H3. Individuele verschillen en correlaties 13
3.1. Variabiliteit in metingen 13
3.2. Het belang van individuele verschillen 13
3.3. Variabiliteit en de verdeling van verschillen 13
3.3.1. Karakteristieke waarden van positie 14
3.3.2. Karakteristieke waarden van spreiding 14
3.3.3. De vorm van de verdeling 15
3.4. Het verband tussen verdelingen kwantificeren 15
3.4.1. Het verband tussen 2 variabelen interpreteren 15
3.4.2. Covariantie 15
3.4.3.Correlatie 16
3.4.4. Associatie tussen dichotome variabelen: Lambda 16
3.5. Normaal verdeling 16
3.6. Transformatiemeetwaarden 17
3.6.2. Percentage juist 17
3.6.2. Rangnummers 17
3.6.3. Percentiele rangen 17
3.6.4. Lineaire transformatiemeetwaarden 18
3.6.5. Stanines, standard nines 18
3.6.6. Genormaliseerde standaardmeetwaarden 18
3.6.7. Normen 19
3.7. Testnormering 19
1
,Onderzoeksmethoden en technieken I (2020-2021) Hanne Vogelaers
3.7.1. Representativiteit 19
3.7.2. Standaardisering van de testafname 19
3.7.3 Normtabellen 19
H4. Betrouwbaarheid 20
4.1. Overzicht van betrouwbaarheid en klassieke test theorie 20
4.2. Geobserveerde en true scores, en meetfouten 20
4.3. Variantie in geobserveerde en true scores, en meetfouten 21
4.4. Vier manieren om naar betrouwbaarheid te kijken 21
4.4.1. Verhouding true score variantie en geobserveerde score variantie 22
4.4.1. Lage meetfoutvariantie 22
4.4.3. Gekwadrateerde correlatie tss geobserveerde en true scores 22
4.4.4. Lage gekwadrateerde correlatie tss geobserveerde scores en meetfouten 22
4.5. Betrouwbaarheid en de standaardmeetfout 23
4.6. Parallelle testen 23
H5. Betrouwbaarheid schatten 24
5.1. Parallelle testen betrouwbaarheid 24
5.2. Test-hertest betrouwbaarheid, stabiliteitscoëfficiënt 24
5.3. Interne consistentie betrouwbaarheid 25
5.3.1. Split-half betrouwbaarheid 25
5.3.2. Ruwe Cronbach alpha 25
5.3.3. Gestandaardiseerde cronbach alpha 26
5.3.4. Kuder-Richardson 20 26
5.4. Factoren die betrouwbaarheid beïnvloeden 26
H6. Validiteit 27
6.1. Wat is validiteit? 27
6.2. Bewijzen voor validiteit 27
6.2.1. Inhoud van de test 27
6.2.2. Interne structuur van de test 27
6.2.3. Antwoord processen 28
6.2.4. Verbanden met andere variabelen 28
6.2.5. Gevolgen van de test 28
6.3. Validiteit versus betrouwbaarheid 29
H7. Validiteit schatten 30
7.1. Evaluatiemethoden voor convergerende en discriminante 30
7.1.1. Specifieke verbanden 30
7.1.2. Meerdere verbanden 30
7.1.3. Multitrait-multimethod matrix - Campbell & Fiske (1959) 30
7.2. Factoren die validiteitscoëfficiënten beïnvloeden 32
7.2.1. Verband tussen de constructen 32
7.2.2. Meetfouten en betrouwbaarheid 32
7.2.3. Range restriction 33
7.2.4. Methodevariantie 33
H8. Respons bias 34
8.1. Vormen van respons bias 34
8.2.1. Acquiescence bias 34
8.1.2. Extreme en moderate responding 34
8.1.3. Sociale wenselijkheid 34
8.1.4. Faking bad, malingering 35
8.1.5. Nonchalante en willekeurige antwoorden 35
8.1.6. Gokken 35
2
,Onderzoeksmethoden en technieken I (2020-2021) Hanne Vogelaers
8.2. Omgaan met respons bias 36
8.2.1. Bias voorkomen via de test omstandigheden 36
8.2.2. Bias voorkomen via de test inhoud 36
8.2.3. Effect van bias verminderen via de test inhoud of scoring 37
8.2.4. Bias detecteren via de test inhoud 37
8.2.5. Gespecialiseerde testen om bias te detecteren 37
H9. Item analyse 38
9.1. Item-moeilijkheidsindex (pi) 38
9.2. Item-betrouwbaarheidsindex siriT 38
9.3. Item-validiteitsindex 38
9.4. Item-discriminatieindex 38
9.5. Meerkeuze items 38
10. Item respons theorie 39
10.1. Factoren die antwoorden op test items beïnvloeden 39
10.1.1. Trait-level vd respondent 39
10.1.2. Moeilijkheid van het item 39
10.1.3. Discriminerend vermogen van het item 39
10.1.4. Gokken 40
10.2. IRT meetmodellen 40
10.2.1. Rasch model of 1 parameter logistisch model (1PL) 40
10.2.2. 2-Parameter logistisch model (2PL) 40
10.2.3. 3-Parameter logistisch model (3PL) 40
10.2.4. Graded response model 41
10.2.5. IRT modellen schatten 41
10.3. Item en test informatie 41
10.3.1. Item Characteristic Curves (ICC) 42
10.3.2. Item informatie en test informatie 43
10.4. Vergelijking tussen IRT en CTT 44
H11. Test accuraatheid en kwaliteit 45
11.1. Sensitiviteit en specificiteit 45
11.1.1. Sensitiviteit 45
11.1.2. Specificiteit 45
11.1.3. Keuze van de cut-off waarde 45
11.2. Receiver Operating Characteristic (ROC) curves 46
11.2.1. Area under curve (auc) 46
11.3. COTAN richtlijnen 46
H12. Fundamenteel meten in menswetenschap 48
H1. Relaties tussen variabelen 55
1.1. Relaties tussen 2 dichotome variabelen 55
1.2. Relaties tussen 2 continue variabelen 55
H2. Transformatiemeetwaarden 57
2.1. Toevallig vergelijkende transformatiemeetwaarden 57
2.2. Lineaire standaardmeetwaarden 57
H3. Betrouwbaarheid 59
H4. Validiteit 63
H5. Item analyse 64
H5. Item respons theorie 66
H6. Test accuraatheid en kwaliteit 68
3
, Onderzoeksmethoden en technieken I (2020-2021) Hanne Vogelaers
H1. Psychometrie
1.1. Psychologische tests in de praktijk
1ste psychologische test: APGAR
1.2. Het belang van psychologische testen
-afnemen voor onderzoek
-behoren tot het instrumentarium van psychologen
-je moet de psychometrische kwaliteit kunnen inschatten
Psychometrie= wetenschappelijke studie vd kwaliteit van psychologische metingen
Psychologische testen= relatief eenvoudig proces waarbij een psychologische test wordt
afgenomen ve persoon en men tot een specifieke score op de test komt
Psychologische assessment= complex proces waarbij meerdere psychologische testen
worden afgenomen, aangevuld met informatie uit andere bronnen zoals interviews en
observaties, om zo tot een holistisch beeld te komen over het functioneren ve persoon
1.3. Definitie van psychologische test
=systematische procedure om het gedrag van 2 of meer personen te vergelijken
(interindividuele verschillen), of om het gedrag ve persoon op verschillende momenten te
vergelijken (intra-individuele verschillen) (Cronbach)
1. ze gebruiken gestandaardiseerde procedures om
-items, vragen, opdrachten te kiezen
-test af te nemen (precieze beschrijving vd omstandigheden)
-antwoorden op de test te scoren en interpreteren
-objectieve scoring: steeds dezelfde interpretatie
-subjectieve scoring: verschillende interpretatie mogelijk
2. ze leveren een staal/steekproef van gedrag op
-een test bestaat uit een eindig aantal items (=vragen/stellingen/opdrachten)
-selectie van items is cruciaal, moeten een representatief "staal" van gedrag meten
-items moeten niet per se een rechtstreekse afspiegeling zijn vh gemeten gedrag
3. ze leveren een testscore op
-"Whatever exists at all exists in some amount" -Thorndike, 1918
-"Anything that exists in amount can be measured" -McCall, 1939
-met een test willen we een bepaald psychologisch kenmerk (construct) meten
-men gaat er van uit dat elke persoon dit kenmerk in zekere mate bezit
-testscore= schatting vd "hoeveelheid" waarin dit kenmerk aanwezig is bij iemand
-elke testscore bevat een zekere meetfout (nooit =0)
X=T+e met X= geobserveerde testscore
T= true score, werkelijke score
e= error, meetfouten
4
H1. Psychometrie 4
1.1. Psychologische tests in de praktijk 4
1.2. Het belang van psychologische testen 4
1.3. Definitie van psychologische test 4
1.4. Geschiedenis van psychologische testen 5
Vroege vormen van testing 5
Experimentele psychologie 5
1.5. Verschillende soorten psychologische testen 7
1.5.1. Intelligentietests 7
1.5.2. Neuropsychologische test 8
1.5.3. Persoonlijkheidstests 9
1.5.4. Individuele vs groepstests 9
H2. Schalen en meetwaarden 10
2.1. Operationaliseren van constructen 10
2.2. Eigenschappen van getallen 10
2.2.1. Identiteit 10
2.2.2. Orde 10
2.2.3. Kwantiteit 10
2.2.4. Het getal 0 10
2.3. Meeteenheden 11
2.4. Additiviteit 11
2.5. Vier verschillende meetschalen 11
2.5.1. Nominaal 12
2.5.2. Ordinaal 12
2.5.3. Interval 12
2.5.4. Ratio 12
2.5.5 Meetschalen in de praktijk 12
H3. Individuele verschillen en correlaties 13
3.1. Variabiliteit in metingen 13
3.2. Het belang van individuele verschillen 13
3.3. Variabiliteit en de verdeling van verschillen 13
3.3.1. Karakteristieke waarden van positie 14
3.3.2. Karakteristieke waarden van spreiding 14
3.3.3. De vorm van de verdeling 15
3.4. Het verband tussen verdelingen kwantificeren 15
3.4.1. Het verband tussen 2 variabelen interpreteren 15
3.4.2. Covariantie 15
3.4.3.Correlatie 16
3.4.4. Associatie tussen dichotome variabelen: Lambda 16
3.5. Normaal verdeling 16
3.6. Transformatiemeetwaarden 17
3.6.2. Percentage juist 17
3.6.2. Rangnummers 17
3.6.3. Percentiele rangen 17
3.6.4. Lineaire transformatiemeetwaarden 18
3.6.5. Stanines, standard nines 18
3.6.6. Genormaliseerde standaardmeetwaarden 18
3.6.7. Normen 19
3.7. Testnormering 19
1
,Onderzoeksmethoden en technieken I (2020-2021) Hanne Vogelaers
3.7.1. Representativiteit 19
3.7.2. Standaardisering van de testafname 19
3.7.3 Normtabellen 19
H4. Betrouwbaarheid 20
4.1. Overzicht van betrouwbaarheid en klassieke test theorie 20
4.2. Geobserveerde en true scores, en meetfouten 20
4.3. Variantie in geobserveerde en true scores, en meetfouten 21
4.4. Vier manieren om naar betrouwbaarheid te kijken 21
4.4.1. Verhouding true score variantie en geobserveerde score variantie 22
4.4.1. Lage meetfoutvariantie 22
4.4.3. Gekwadrateerde correlatie tss geobserveerde en true scores 22
4.4.4. Lage gekwadrateerde correlatie tss geobserveerde scores en meetfouten 22
4.5. Betrouwbaarheid en de standaardmeetfout 23
4.6. Parallelle testen 23
H5. Betrouwbaarheid schatten 24
5.1. Parallelle testen betrouwbaarheid 24
5.2. Test-hertest betrouwbaarheid, stabiliteitscoëfficiënt 24
5.3. Interne consistentie betrouwbaarheid 25
5.3.1. Split-half betrouwbaarheid 25
5.3.2. Ruwe Cronbach alpha 25
5.3.3. Gestandaardiseerde cronbach alpha 26
5.3.4. Kuder-Richardson 20 26
5.4. Factoren die betrouwbaarheid beïnvloeden 26
H6. Validiteit 27
6.1. Wat is validiteit? 27
6.2. Bewijzen voor validiteit 27
6.2.1. Inhoud van de test 27
6.2.2. Interne structuur van de test 27
6.2.3. Antwoord processen 28
6.2.4. Verbanden met andere variabelen 28
6.2.5. Gevolgen van de test 28
6.3. Validiteit versus betrouwbaarheid 29
H7. Validiteit schatten 30
7.1. Evaluatiemethoden voor convergerende en discriminante 30
7.1.1. Specifieke verbanden 30
7.1.2. Meerdere verbanden 30
7.1.3. Multitrait-multimethod matrix - Campbell & Fiske (1959) 30
7.2. Factoren die validiteitscoëfficiënten beïnvloeden 32
7.2.1. Verband tussen de constructen 32
7.2.2. Meetfouten en betrouwbaarheid 32
7.2.3. Range restriction 33
7.2.4. Methodevariantie 33
H8. Respons bias 34
8.1. Vormen van respons bias 34
8.2.1. Acquiescence bias 34
8.1.2. Extreme en moderate responding 34
8.1.3. Sociale wenselijkheid 34
8.1.4. Faking bad, malingering 35
8.1.5. Nonchalante en willekeurige antwoorden 35
8.1.6. Gokken 35
2
,Onderzoeksmethoden en technieken I (2020-2021) Hanne Vogelaers
8.2. Omgaan met respons bias 36
8.2.1. Bias voorkomen via de test omstandigheden 36
8.2.2. Bias voorkomen via de test inhoud 36
8.2.3. Effect van bias verminderen via de test inhoud of scoring 37
8.2.4. Bias detecteren via de test inhoud 37
8.2.5. Gespecialiseerde testen om bias te detecteren 37
H9. Item analyse 38
9.1. Item-moeilijkheidsindex (pi) 38
9.2. Item-betrouwbaarheidsindex siriT 38
9.3. Item-validiteitsindex 38
9.4. Item-discriminatieindex 38
9.5. Meerkeuze items 38
10. Item respons theorie 39
10.1. Factoren die antwoorden op test items beïnvloeden 39
10.1.1. Trait-level vd respondent 39
10.1.2. Moeilijkheid van het item 39
10.1.3. Discriminerend vermogen van het item 39
10.1.4. Gokken 40
10.2. IRT meetmodellen 40
10.2.1. Rasch model of 1 parameter logistisch model (1PL) 40
10.2.2. 2-Parameter logistisch model (2PL) 40
10.2.3. 3-Parameter logistisch model (3PL) 40
10.2.4. Graded response model 41
10.2.5. IRT modellen schatten 41
10.3. Item en test informatie 41
10.3.1. Item Characteristic Curves (ICC) 42
10.3.2. Item informatie en test informatie 43
10.4. Vergelijking tussen IRT en CTT 44
H11. Test accuraatheid en kwaliteit 45
11.1. Sensitiviteit en specificiteit 45
11.1.1. Sensitiviteit 45
11.1.2. Specificiteit 45
11.1.3. Keuze van de cut-off waarde 45
11.2. Receiver Operating Characteristic (ROC) curves 46
11.2.1. Area under curve (auc) 46
11.3. COTAN richtlijnen 46
H12. Fundamenteel meten in menswetenschap 48
H1. Relaties tussen variabelen 55
1.1. Relaties tussen 2 dichotome variabelen 55
1.2. Relaties tussen 2 continue variabelen 55
H2. Transformatiemeetwaarden 57
2.1. Toevallig vergelijkende transformatiemeetwaarden 57
2.2. Lineaire standaardmeetwaarden 57
H3. Betrouwbaarheid 59
H4. Validiteit 63
H5. Item analyse 64
H5. Item respons theorie 66
H6. Test accuraatheid en kwaliteit 68
3
, Onderzoeksmethoden en technieken I (2020-2021) Hanne Vogelaers
H1. Psychometrie
1.1. Psychologische tests in de praktijk
1ste psychologische test: APGAR
1.2. Het belang van psychologische testen
-afnemen voor onderzoek
-behoren tot het instrumentarium van psychologen
-je moet de psychometrische kwaliteit kunnen inschatten
Psychometrie= wetenschappelijke studie vd kwaliteit van psychologische metingen
Psychologische testen= relatief eenvoudig proces waarbij een psychologische test wordt
afgenomen ve persoon en men tot een specifieke score op de test komt
Psychologische assessment= complex proces waarbij meerdere psychologische testen
worden afgenomen, aangevuld met informatie uit andere bronnen zoals interviews en
observaties, om zo tot een holistisch beeld te komen over het functioneren ve persoon
1.3. Definitie van psychologische test
=systematische procedure om het gedrag van 2 of meer personen te vergelijken
(interindividuele verschillen), of om het gedrag ve persoon op verschillende momenten te
vergelijken (intra-individuele verschillen) (Cronbach)
1. ze gebruiken gestandaardiseerde procedures om
-items, vragen, opdrachten te kiezen
-test af te nemen (precieze beschrijving vd omstandigheden)
-antwoorden op de test te scoren en interpreteren
-objectieve scoring: steeds dezelfde interpretatie
-subjectieve scoring: verschillende interpretatie mogelijk
2. ze leveren een staal/steekproef van gedrag op
-een test bestaat uit een eindig aantal items (=vragen/stellingen/opdrachten)
-selectie van items is cruciaal, moeten een representatief "staal" van gedrag meten
-items moeten niet per se een rechtstreekse afspiegeling zijn vh gemeten gedrag
3. ze leveren een testscore op
-"Whatever exists at all exists in some amount" -Thorndike, 1918
-"Anything that exists in amount can be measured" -McCall, 1939
-met een test willen we een bepaald psychologisch kenmerk (construct) meten
-men gaat er van uit dat elke persoon dit kenmerk in zekere mate bezit
-testscore= schatting vd "hoeveelheid" waarin dit kenmerk aanwezig is bij iemand
-elke testscore bevat een zekere meetfout (nooit =0)
X=T+e met X= geobserveerde testscore
T= true score, werkelijke score
e= error, meetfouten
4
