M&D3 aantekeningen in het Nederlands
Overzicht:
A Gelez Gelee
f: en: rd:
X X X
X X X
X X X
X X X
X X X
X X X
,M&D3 aantekeningen in het Nederlands
College 1
Het supreme problem: wanneer je een individu diagnosticeert en stuurt
naar de plaats waar zijn/haar prestaties het best tot zijn recht komen (ook
het meest efficiënt en goed voor hem/haar). Het is belangrijk dat je je
afvraagt welke constructen belangrijk zijn voor het voorspellen van job
performance (IQ, ability to teamwork…).
Goede meting: COTAN
o Kwaliteit van de toets
o Kwaliteit van de handleiding
o Standaardiseringsnormen
o Betrouwbaarheid
o Construct validiteit
o Criteriumvaliditeit
Betrouwbaarheid:
Betrouwbaarheid houdt in dat je consistente resultaten verkrijgt bij een
meting. De waargenomen score (X) is niet noodzakelijkerwijs de werkelijke
score (T), aangezien er ook altijd een fout (E) aanwezig is waardoor de
metingen niet hetzelfde zijn bij het uitvoeren van de test. De Klassieke
Testtheorie (CTT) gaat uit van de volgende formule: X=T+E.
Er zijn verschillende manieren om betrouwbaarheid te meten:
Test-hertestbetrouwbaarheid: doe de test meerdere keren en
kijk hoe de resultaten met elkaar samenhangen (dit kan een slechte
optie zijn bij het meten van kennis, omdat mensen van de ene taak
naar de andere kunnen leren).
Parallelle vormen betrouwbaarheid: doe twee verschillende
versies van een test en geef ze beide aan de deelnemers, en kijk
dan hoe de twee tests met elkaar correleren. Dit is echter moeilijk
omdat het tijdrovend is om twee volledige tests uit te voeren en
voor beide naar gelijkwaardige items te zoeken.
Interne consistentie:
o Split-half-aanpak: snijd de test in tweeën en geef deze aan
mensen en kijk hoe de twee delen van de test met elkaar
correleren bij het meten van wat zou moeten (dit kan een
slechte maatregel zijn, want door de test in tweeën te doen,
heb je minder items in elk onderdeel zorgen ervoor dat elk
onderdeel een zekere betrouwbaarheid verliest)
o Coëfficiënt alfa is een gemiddelde van alle mogelijke
gesplitste helften
Interbeoordelaarsbetrouwbaarheid:
o Consistentie (r)
,M&D3 aantekeningen in het Nederlands
o Overeenkomst (Kappa) [agreement]
o Interklasse-coëfficiënten (ICC's)
Alpha coefficient:
Eenmalige afname van een test
Covarianties van de items
Aantal items
• Voor individuele diagnose:
• rxx < .80 is onvoldoende
• .80 ≤ rxx ≥ .90 is voldoende
• rxx ≥ .90 is goed
• In onderzoek kan .60 of.70 oké zijn
Betrouwbaarhei COTAN In research Diagnosis
d rxx
rxx < .80 insufficient sufficient Not good
.80 ≤ rxx ≥ .90 sufficient Good Good
rxx ≥ .90 good Very good Very good
De betrouwbaarheid kun je bekijken in een mtmm model, je ziet dan de
correlaties met de haakjes er omheen, of terwijl: monotrait monomethod.
Letterlijk de trait op dezelfde test met zichzelf.
• Alpha garandeert geen uni-dimensionaliteit, wat betekent dat het niet
garandeert dat we met ons instrument slechts één construct of factor
meten.
• Het is geen indicator voor de validiteit (dat we daadwerkelijk meten wat
we van plan zijn)
Betrouwbaarheidsinterval:
Aan de hand van het Bi kun je kijken hoe zeker onze score is. Bij een
herhaalde steekproef is het berouwbaarheidsinterval het % van het aantal
keren dat het interval de ware score bevat.
We gaan uit van de volgende formule om het BI te berekenen: BI = X ± z
* SEM
• X: testscore
• Z: teststatistiek (bijvoorbeeld 1,96 voor een 95% BI)
• SEM: standaard meetfout = σ *√(1 - rxx)
• σ= standaarddeviatie van waargenomen testscores
• rxx= betrouwbaarheid van de test
, M&D3 aantekeningen in het Nederlands
Validiteit:
Validiteit is de mate waarin een test meet wat hij wil meten. We kunnen
validiteit onderverdelen in verschillende soorten:
1. Face validiteit: lijkt het een goede maatstaf, lijkt het relevant om
te voorspellen wat we nastreven (bijvoorbeeld werkprestaties)
2. Inhoudsvaliditeit: Bestrijken de items in de test alle delen van het
construct dat wordt gemeten? (Mening van de deskundige) er
wordt hier echt gekeken naar de items zelf en in hoeverre deze
betrekking hebben op het construct.
3. Construct validiteit:
o Convergente validiteit: de resultaten van het instrument
correleren met de resultaten van andere instrumenten die
hetzelfde construct meten (metingen van werkverslaving en
gezondheidsproblemen correleren)
o Discriminante/divergerende validiteit: de resultaten van
het instrument correleren niet met de resultaten van andere
tests die een ander construct meten (metingen van cognitief
vermogen en aanvaardbaarheid correleren niet)
4. Criteriumgeldigheid:
o Concurrent validiteit: correleren de testresultaten met
reeds bestaande metingen van het betreffende construct?
o Predictive validiteit: correleren testresultaten met
toekomstige metingen op het daadwerkelijke construct? Hoe
goed is onze test in het voorspellen van dat construct.
Construct validiteit:
Bestrijkt de test wat deze moet omvatten?
Interne structuur zegt iets over het aantal dimensies/factoren die
de test meet: Is er een zichtbaar verschil tussen groepen met
verschillende niveaus van het gemeten construct?
Externe structuur:
o Convergente validiteit: om dit te beoordelen gebruiken we
de MTMM (multi-trait multi-method matrix). We kijken naar
correlaties tussen mono-kenmerken en meerdere methoden
om te zien hoe verschillende metingen van eenzelfde
eigenschap met elkaar correleren. We willen dat deze waarde
hoog is (Ideaal: .40, Goed: .20/30, Meestal: .1-2)
Overzicht:
A Gelez Gelee
f: en: rd:
X X X
X X X
X X X
X X X
X X X
X X X
,M&D3 aantekeningen in het Nederlands
College 1
Het supreme problem: wanneer je een individu diagnosticeert en stuurt
naar de plaats waar zijn/haar prestaties het best tot zijn recht komen (ook
het meest efficiënt en goed voor hem/haar). Het is belangrijk dat je je
afvraagt welke constructen belangrijk zijn voor het voorspellen van job
performance (IQ, ability to teamwork…).
Goede meting: COTAN
o Kwaliteit van de toets
o Kwaliteit van de handleiding
o Standaardiseringsnormen
o Betrouwbaarheid
o Construct validiteit
o Criteriumvaliditeit
Betrouwbaarheid:
Betrouwbaarheid houdt in dat je consistente resultaten verkrijgt bij een
meting. De waargenomen score (X) is niet noodzakelijkerwijs de werkelijke
score (T), aangezien er ook altijd een fout (E) aanwezig is waardoor de
metingen niet hetzelfde zijn bij het uitvoeren van de test. De Klassieke
Testtheorie (CTT) gaat uit van de volgende formule: X=T+E.
Er zijn verschillende manieren om betrouwbaarheid te meten:
Test-hertestbetrouwbaarheid: doe de test meerdere keren en
kijk hoe de resultaten met elkaar samenhangen (dit kan een slechte
optie zijn bij het meten van kennis, omdat mensen van de ene taak
naar de andere kunnen leren).
Parallelle vormen betrouwbaarheid: doe twee verschillende
versies van een test en geef ze beide aan de deelnemers, en kijk
dan hoe de twee tests met elkaar correleren. Dit is echter moeilijk
omdat het tijdrovend is om twee volledige tests uit te voeren en
voor beide naar gelijkwaardige items te zoeken.
Interne consistentie:
o Split-half-aanpak: snijd de test in tweeën en geef deze aan
mensen en kijk hoe de twee delen van de test met elkaar
correleren bij het meten van wat zou moeten (dit kan een
slechte maatregel zijn, want door de test in tweeën te doen,
heb je minder items in elk onderdeel zorgen ervoor dat elk
onderdeel een zekere betrouwbaarheid verliest)
o Coëfficiënt alfa is een gemiddelde van alle mogelijke
gesplitste helften
Interbeoordelaarsbetrouwbaarheid:
o Consistentie (r)
,M&D3 aantekeningen in het Nederlands
o Overeenkomst (Kappa) [agreement]
o Interklasse-coëfficiënten (ICC's)
Alpha coefficient:
Eenmalige afname van een test
Covarianties van de items
Aantal items
• Voor individuele diagnose:
• rxx < .80 is onvoldoende
• .80 ≤ rxx ≥ .90 is voldoende
• rxx ≥ .90 is goed
• In onderzoek kan .60 of.70 oké zijn
Betrouwbaarhei COTAN In research Diagnosis
d rxx
rxx < .80 insufficient sufficient Not good
.80 ≤ rxx ≥ .90 sufficient Good Good
rxx ≥ .90 good Very good Very good
De betrouwbaarheid kun je bekijken in een mtmm model, je ziet dan de
correlaties met de haakjes er omheen, of terwijl: monotrait monomethod.
Letterlijk de trait op dezelfde test met zichzelf.
• Alpha garandeert geen uni-dimensionaliteit, wat betekent dat het niet
garandeert dat we met ons instrument slechts één construct of factor
meten.
• Het is geen indicator voor de validiteit (dat we daadwerkelijk meten wat
we van plan zijn)
Betrouwbaarheidsinterval:
Aan de hand van het Bi kun je kijken hoe zeker onze score is. Bij een
herhaalde steekproef is het berouwbaarheidsinterval het % van het aantal
keren dat het interval de ware score bevat.
We gaan uit van de volgende formule om het BI te berekenen: BI = X ± z
* SEM
• X: testscore
• Z: teststatistiek (bijvoorbeeld 1,96 voor een 95% BI)
• SEM: standaard meetfout = σ *√(1 - rxx)
• σ= standaarddeviatie van waargenomen testscores
• rxx= betrouwbaarheid van de test
, M&D3 aantekeningen in het Nederlands
Validiteit:
Validiteit is de mate waarin een test meet wat hij wil meten. We kunnen
validiteit onderverdelen in verschillende soorten:
1. Face validiteit: lijkt het een goede maatstaf, lijkt het relevant om
te voorspellen wat we nastreven (bijvoorbeeld werkprestaties)
2. Inhoudsvaliditeit: Bestrijken de items in de test alle delen van het
construct dat wordt gemeten? (Mening van de deskundige) er
wordt hier echt gekeken naar de items zelf en in hoeverre deze
betrekking hebben op het construct.
3. Construct validiteit:
o Convergente validiteit: de resultaten van het instrument
correleren met de resultaten van andere instrumenten die
hetzelfde construct meten (metingen van werkverslaving en
gezondheidsproblemen correleren)
o Discriminante/divergerende validiteit: de resultaten van
het instrument correleren niet met de resultaten van andere
tests die een ander construct meten (metingen van cognitief
vermogen en aanvaardbaarheid correleren niet)
4. Criteriumgeldigheid:
o Concurrent validiteit: correleren de testresultaten met
reeds bestaande metingen van het betreffende construct?
o Predictive validiteit: correleren testresultaten met
toekomstige metingen op het daadwerkelijke construct? Hoe
goed is onze test in het voorspellen van dat construct.
Construct validiteit:
Bestrijkt de test wat deze moet omvatten?
Interne structuur zegt iets over het aantal dimensies/factoren die
de test meet: Is er een zichtbaar verschil tussen groepen met
verschillende niveaus van het gemeten construct?
Externe structuur:
o Convergente validiteit: om dit te beoordelen gebruiken we
de MTMM (multi-trait multi-method matrix). We kijken naar
correlaties tussen mono-kenmerken en meerdere methoden
om te zien hoe verschillende metingen van eenzelfde
eigenschap met elkaar correleren. We willen dat deze waarde
hoog is (Ideaal: .40, Goed: .20/30, Meestal: .1-2)
