Psychometrie en besliskunde Willemijn van de Ven
Premaster Pedagogische wetenschappen 2019-2020
Werkcollege opdracht 5
A. Begripsvaliditeit: Multitrait-multimethodmatrix
1. Wat is er zo speciaal aan een 'multitrait-multimethod' correlatiematrix, in vergelijking met
een normale correlatiematrix?
In een MTMM matrix staan de correlaties tussen twee of meer verschillende eigenschappen,
gemeten door twee of meer verschillende instrumenten (methoden), er staan dus ook veel meer
getallen/zijn veel meer cellen in een MTMM dan in een normale matrix. Bij een normale
correlatiematrix worden namelijk alleen de correlaties tussen twee metingen van dezelfde
eigenschap en door hetzelfde instrument getoond.
2. Hieronder zie je een multi-trait-multimethod-matrix voor de scores op Neuroticisme,
Altruïsme en Consciëntieusheid, gemeten met de Persoonsbeschrijving en de KPVL.
Persoons beschrijvin KPVL
g
Neuroticisme Altruïsme Consciën- Neuroticisme Altruïsm Consciën-
tieusheid e tieusheid
Pers. Neuroticisime .75
beschrijving
Altruïsme -.12 .78
Consciëntieusheid -.21 .23 .65
KPVL Neuroticisme .74 -.30 -.19 .82
Altruïsme -.28 .65 .18 -.40 .70
Consciëntieusheid 0.02 0.2 .47 .02 .01 .74
Vul de 'multitrait-multimethod' matrix in. Bereken daartoe de correlaties tussen de metingen van
de domeinen Neuroticisme, Altruïsme en Consciëntieusheid, gemeten met beide methoden. NB:
De betrouwbaarheidscoëfficiënten zijn al ingevuld op de diagonaal (om deze zelf te kunnen
berekenen heb je scores op de items van de domeinen nodig, deze staan niet in het databestand).
3. Welke correlaties hebben betrekking op de convergerende validiteit? Van welk construct is
de convergerende validiteit het slechtst?
Convergerende validiteit gaat over hoe goed de twee methodes de eigenschappen hetzelfde meten.
Dus kijk je naar de correlaties tussen de drie schalen op de twee instrumenten, die moeten zo hoog
mogelijk zijn:
Pers.n – KPVL.n 0.74
Pers.a – KPVL.a 0.65
Pers.c – KPVL.c 0.47 slechtste convergerende validiteit
4. Welke correlaties zijn indicatief voor de discriminante of divergerende validiteit? Welke
combinatie van construct en methode levert de slechtste discriminante validiteit op?
Bij discriminante validiteit heeft betrekking op de correlaties tussen de schalen die niet hetzelfde
meten, deze moeten zo laag mogelijk zijn (zo min mogelijk samenhangen). Dit zijn alle correlaties die
niet te maken hebben met de convergerende validiteit.
De slechtste is hierbij KPVL.a – KPVL.n met de hoogste correlatie van -0.40.
, Psychometrie en besliskunde Willemijn van de Ven
Premaster Pedagogische wetenschappen 2019-2020
5. Wat verstaat men onder een correctie voor attenuatie?
Een correlatie wordt dan gecorrigeerd voor meetfouten, oftewel voor de onbetrouwbaarheid van de
geobserveerde score. Dit doet men om een betere schatting te krijgen van de correlatie tussen de
ware scores.
6. Bereken de correlatie tussen de ware scores voor Neuroticisme zoals gemeten d.m.v. de
KPVL en de Persoonbeschrijving.
Zie collegeblok antwoord is 0.94
7. Bereken de correlatie tussen de geobserveerde scores voor Altruïsme zoals gemeten d.m.v.
de KPVL en de ware scores voor Consciëntieusheid zoals gemeten d.m.v. de
Persoonsbeschrijving.
Zie collegeblok antwoord is 0.22
8. Hoe hoog kan de correlatie maximaal worden tussen de geobserveerde scores voor
Neuroticisme en scores voor een meting van Depressiviteit (of een willekeurig ander
kenmerk)?
Zie collegeblok antwoord is voor pers. < of gelijk aan 0.87; voor kpvl < of gelijk aan 0.91
B. Criteriumvaliditeit: ROC-curve
1. Vraag voor de drie metingen een ROC-curve op om het criterium te voorspellen (Analyze >
ROC Curve). Je kunt dit gelijktijdig opvragen, dan worden curves in één figuur
weergegeven, wat vergelijking vereenvoudigt. Vraag ook de diagonale referentielijn op en
de ‘coordinate points of the ROC Curve’. Geef de syntax en de output-tabellen.
Case Processing Summary
criterium_presenta Valid N (listwise)
b
Positive 66
Negative 116
Larger values of the test result
variable(s) indicate stronger evidence
for a positive actual state.
a. The test result variable(s):
measure01 has at least one tie between
the positive actual state group and the
negative actual state group.
b. The positive actual state is 2.
Area Under the Curve
Test Result Variable(s) Area
measure01 ,525
measure02 ,619
measure03 ,715
Premaster Pedagogische wetenschappen 2019-2020
Werkcollege opdracht 5
A. Begripsvaliditeit: Multitrait-multimethodmatrix
1. Wat is er zo speciaal aan een 'multitrait-multimethod' correlatiematrix, in vergelijking met
een normale correlatiematrix?
In een MTMM matrix staan de correlaties tussen twee of meer verschillende eigenschappen,
gemeten door twee of meer verschillende instrumenten (methoden), er staan dus ook veel meer
getallen/zijn veel meer cellen in een MTMM dan in een normale matrix. Bij een normale
correlatiematrix worden namelijk alleen de correlaties tussen twee metingen van dezelfde
eigenschap en door hetzelfde instrument getoond.
2. Hieronder zie je een multi-trait-multimethod-matrix voor de scores op Neuroticisme,
Altruïsme en Consciëntieusheid, gemeten met de Persoonsbeschrijving en de KPVL.
Persoons beschrijvin KPVL
g
Neuroticisme Altruïsme Consciën- Neuroticisme Altruïsm Consciën-
tieusheid e tieusheid
Pers. Neuroticisime .75
beschrijving
Altruïsme -.12 .78
Consciëntieusheid -.21 .23 .65
KPVL Neuroticisme .74 -.30 -.19 .82
Altruïsme -.28 .65 .18 -.40 .70
Consciëntieusheid 0.02 0.2 .47 .02 .01 .74
Vul de 'multitrait-multimethod' matrix in. Bereken daartoe de correlaties tussen de metingen van
de domeinen Neuroticisme, Altruïsme en Consciëntieusheid, gemeten met beide methoden. NB:
De betrouwbaarheidscoëfficiënten zijn al ingevuld op de diagonaal (om deze zelf te kunnen
berekenen heb je scores op de items van de domeinen nodig, deze staan niet in het databestand).
3. Welke correlaties hebben betrekking op de convergerende validiteit? Van welk construct is
de convergerende validiteit het slechtst?
Convergerende validiteit gaat over hoe goed de twee methodes de eigenschappen hetzelfde meten.
Dus kijk je naar de correlaties tussen de drie schalen op de twee instrumenten, die moeten zo hoog
mogelijk zijn:
Pers.n – KPVL.n 0.74
Pers.a – KPVL.a 0.65
Pers.c – KPVL.c 0.47 slechtste convergerende validiteit
4. Welke correlaties zijn indicatief voor de discriminante of divergerende validiteit? Welke
combinatie van construct en methode levert de slechtste discriminante validiteit op?
Bij discriminante validiteit heeft betrekking op de correlaties tussen de schalen die niet hetzelfde
meten, deze moeten zo laag mogelijk zijn (zo min mogelijk samenhangen). Dit zijn alle correlaties die
niet te maken hebben met de convergerende validiteit.
De slechtste is hierbij KPVL.a – KPVL.n met de hoogste correlatie van -0.40.
, Psychometrie en besliskunde Willemijn van de Ven
Premaster Pedagogische wetenschappen 2019-2020
5. Wat verstaat men onder een correctie voor attenuatie?
Een correlatie wordt dan gecorrigeerd voor meetfouten, oftewel voor de onbetrouwbaarheid van de
geobserveerde score. Dit doet men om een betere schatting te krijgen van de correlatie tussen de
ware scores.
6. Bereken de correlatie tussen de ware scores voor Neuroticisme zoals gemeten d.m.v. de
KPVL en de Persoonbeschrijving.
Zie collegeblok antwoord is 0.94
7. Bereken de correlatie tussen de geobserveerde scores voor Altruïsme zoals gemeten d.m.v.
de KPVL en de ware scores voor Consciëntieusheid zoals gemeten d.m.v. de
Persoonsbeschrijving.
Zie collegeblok antwoord is 0.22
8. Hoe hoog kan de correlatie maximaal worden tussen de geobserveerde scores voor
Neuroticisme en scores voor een meting van Depressiviteit (of een willekeurig ander
kenmerk)?
Zie collegeblok antwoord is voor pers. < of gelijk aan 0.87; voor kpvl < of gelijk aan 0.91
B. Criteriumvaliditeit: ROC-curve
1. Vraag voor de drie metingen een ROC-curve op om het criterium te voorspellen (Analyze >
ROC Curve). Je kunt dit gelijktijdig opvragen, dan worden curves in één figuur
weergegeven, wat vergelijking vereenvoudigt. Vraag ook de diagonale referentielijn op en
de ‘coordinate points of the ROC Curve’. Geef de syntax en de output-tabellen.
Case Processing Summary
criterium_presenta Valid N (listwise)
b
Positive 66
Negative 116
Larger values of the test result
variable(s) indicate stronger evidence
for a positive actual state.
a. The test result variable(s):
measure01 has at least one tie between
the positive actual state group and the
negative actual state group.
b. The positive actual state is 2.
Area Under the Curve
Test Result Variable(s) Area
measure01 ,525
measure02 ,619
measure03 ,715
