IRM deel B
Chapter 3: Blz. 53-70.
Het beoordelen van de betrouwbaarheid van een meting.
Om te zien of de metingen van variabelen overeenkomen met de realiteit gebruiken we de termen
‘betrouwbaarheid’ en ‘validiteit’.
Betrouwbaarheid: hoe goed een meting de realiteit meet. Als je 2x op een weegschaal gaat staan,
en beide keren laten een ander gewicht zien, dan is de weegschaal niet betrouwbaar. Het is niet
consistent.
Meetfout / meet-error
De geobserveerde score is de ware score plus de meetfout. Meetfouten ontstaat door foutjes in de
instrumenten, of de participant bv goed heeft geslapen enzovoorts.
Er zijn vijf categorieën van meetfouten:
1. Eigenschappen van proefpersonen: voorbijgaande toestanden
vermoeidheid, ziekte, humeur
2. Eigenschappen van proefpersonen: constante toestanden
intelligentie, karakter en motivatie kunnen invloed hebben op de observaties.
3. Eigenschappen van meetinstrumenten
Ambigu vragen, te lange vragenlijsten
4. Omgevingsfactoren / situationele factoren
Warmte van de ruimte, het humeur van de wetenschapper bij het aanspreken van de participant.
5. Codeerfouten (meet‐ of invoer‐)
Bijvoorbeeld een 5 opschrijven en dit later als een 3 aanzien. Als wetenschapper de tel kwijtraken.
Betrouwbaarheid als systematische variantie
Je weet nooit zeker hoe groot je meetfout is. Het kan echter wel ingeschat worden. Om dit te
schatten moet er gekeken worden naar de variantie in de meetwaarden. Hieraan wordt een score
gegeven van 0.00 tot 1.00. De hoger de meer betrouwbaar. Het is betrouwbaar als minder dan 30%
verklaart kan worden door de meetfout.
Verschillende types betrouwbaarheid
er zijn drie methoden om betrouwbaarheid te meten.
Test-hertest betrouwbaarheid: Als we hetzelfde tweemaal testen verwachten we (ongeveer)
dezelfde score. Als de correlatie onder de .70 zit is de meetfout te groot. Deze methode is alleen van
nut als er geen verschil in metingen wordt verwacht. Als deze wel wordt verwacht komt dat door het
leereffect. Een alternatief in het college benoemt is de paralleltest. Je maakt dan twee
gelijkwaardige testvormen en je neem ze af bij dezelfde groep mensen. Je berekent daarna de
correlatie tussen de twee tests. Het nadeel hier is dat de testen mogelijk net wat anders zijn en dan
heb je bias.
Betrouwbaarheid van het interpunt: Als een meting meerdere items gebruikt wordt met deze
methode gekeken naar consistentie tussen de items.
Item-totaal correlatie: de correlatie tussen één item en de andere items. Volgens het college hoort
het niet item-totaal te heten maar item-rest.
Item-totaal volgens college: je correleert één item met alle items tegelijk inclusief zichzelf.
Split-half betrouwbaarheid: alle vragen worden in twee sets verdeeld (kan bv random, of alle
even en oneven vragen apart). Daarna wordt gekeken naar correlatie. Weer moet er meer dan 0.7
correlatie zijn. Omdat de vragen op zo veel manieren gesplitst zijn kan je afvragen wat nou echt de
correlatie is. Daarom gebruikt men Cronbach’s alpha. Dat is het gemiddelde van alle mogelijke
split-half betrouwbaarheidsanalyses. Nogmaals 0.7.
, interbeoordelaarsbetrouwbaarheid
interbeoordelaarsbetrouwbaarheid: staat voor het verschil tussen metingen van verschillende
onderzoekers. De ene is bv strenger dan de andere.
Het verbeteren van de betrouwbaarheid van metingen
Er kan niet bij elke meting betrouwbaarheid berekent worden. Het beste wat je dan kan doen is alles
zo betrouwbaar mogelijk maken.
– Standaardiseer de manier van meten. Iedere participant moet op dezelfde manier gemeten worden.
– Verduidelijk instructies en vragen.
– Train de observatoren.
– Minimaliseer fouten in het coderen van data.
Het beoordelen van de validiteit van de meting
Metingen moeten niet alleen te vertrouwen zijn, maar ook valide.
Validiteit: In hoeverre iets meet wat het hoort te meten.
Om goed betrouwbaarheid en validiteit uit elkaar te houden kan je naar een plaatje in het boek
kijken, op bladzijde 288 in MMC.
Als je iets maar één keer meet is een niet betrouwbare test ook niet valide! Een niet betrouwbare
test wordt meer valide als je vaker kan testen.
Linksboven: NIET betrouwbaar & NIET valide. als je middelt kom je niet bij de roos.
Rechtsboven: NIET betrouwbaar & WEL valide. Gemiddeld genomen zit je dicht bij de roos.
Linksonder: WEL betrouwbaar & NIET valide. Kleine toevallige meetfout maar ver van roos.
Rechtsonder: WEL betrouwbaar & WEL valide. Dicht bij elkaar en in de roos.
Verschillende types validiteit
Gezichtsgeldigheid: gerefereerd naar hoe erg het lijkt te meten wat het behoort te meten. Dit wordt
gebaseerd op het oordeel van de onderzoeker of de participanten. Klinkt vrij los maar werkt best
goed. Het hangt af van drie kwalificaties.
– Als iets gezichtsgeldigheid heeft betekent het nog niet dat het echt valide is.
– Sommige metingen zonder gezichtsgeldigheid zijn eigenlijk valide.
– Soms willen onderzoekers het daadwerkelijke doel van het onderzoek verstoppen. Ze gebruiken
dan instrumenten die geen gezichtsgeldigheid hebben om zo het doel te verstoppen.
Constructie validiteit
Er zijn veel constructen gemaakt door de mens om iets te begrijpen. Bijvoorbeeld intelligentie. Dit
kan niet direct worden geobserveerd. Hoe meet je een ‘onzichtbaar’ construct? We doen dit door het
te vergelijken met resultaten op metingen van hetzelfde of tegenovergestelde concept (bv
zelfverzekerdheid versus onzekerheid).
Convergente validiteit: er moet correlatie met andere metingen zijn die hetzelfde concept meten.
Discriminante validiteit: er moet negatieve correlatie zijn met metingen die het tegenovergestelde
meten.
criteriegerelateerde validiteit: bepaald tot welk niveau we metingen kunnen onderscheiden door
een bepaald criteria.
Er zijn twee vormen van criteriegerelateerde validiteit:
– Concurrente validiteit: is er correlatie tussen het gedrag van individuen en wat zij scoren op
hetzelfde moment?
– Voorspellende validiteit: kan een meting iets voorspellen?
Inhoudsvaliditeit (uit college): dekt het instrument het volledige domein van een contruct?
Bijvoorbeeld een IQ test. Stel dat het alleen ruimtelijk inzicht meet dan heb je geen
inhoudsvaliditeit, omdat je maar een deel van intelligentie meet. Er kan alleen theoretisch gezien
worden of je het volledige domein meet.
Chapter 3: Blz. 53-70.
Het beoordelen van de betrouwbaarheid van een meting.
Om te zien of de metingen van variabelen overeenkomen met de realiteit gebruiken we de termen
‘betrouwbaarheid’ en ‘validiteit’.
Betrouwbaarheid: hoe goed een meting de realiteit meet. Als je 2x op een weegschaal gaat staan,
en beide keren laten een ander gewicht zien, dan is de weegschaal niet betrouwbaar. Het is niet
consistent.
Meetfout / meet-error
De geobserveerde score is de ware score plus de meetfout. Meetfouten ontstaat door foutjes in de
instrumenten, of de participant bv goed heeft geslapen enzovoorts.
Er zijn vijf categorieën van meetfouten:
1. Eigenschappen van proefpersonen: voorbijgaande toestanden
vermoeidheid, ziekte, humeur
2. Eigenschappen van proefpersonen: constante toestanden
intelligentie, karakter en motivatie kunnen invloed hebben op de observaties.
3. Eigenschappen van meetinstrumenten
Ambigu vragen, te lange vragenlijsten
4. Omgevingsfactoren / situationele factoren
Warmte van de ruimte, het humeur van de wetenschapper bij het aanspreken van de participant.
5. Codeerfouten (meet‐ of invoer‐)
Bijvoorbeeld een 5 opschrijven en dit later als een 3 aanzien. Als wetenschapper de tel kwijtraken.
Betrouwbaarheid als systematische variantie
Je weet nooit zeker hoe groot je meetfout is. Het kan echter wel ingeschat worden. Om dit te
schatten moet er gekeken worden naar de variantie in de meetwaarden. Hieraan wordt een score
gegeven van 0.00 tot 1.00. De hoger de meer betrouwbaar. Het is betrouwbaar als minder dan 30%
verklaart kan worden door de meetfout.
Verschillende types betrouwbaarheid
er zijn drie methoden om betrouwbaarheid te meten.
Test-hertest betrouwbaarheid: Als we hetzelfde tweemaal testen verwachten we (ongeveer)
dezelfde score. Als de correlatie onder de .70 zit is de meetfout te groot. Deze methode is alleen van
nut als er geen verschil in metingen wordt verwacht. Als deze wel wordt verwacht komt dat door het
leereffect. Een alternatief in het college benoemt is de paralleltest. Je maakt dan twee
gelijkwaardige testvormen en je neem ze af bij dezelfde groep mensen. Je berekent daarna de
correlatie tussen de twee tests. Het nadeel hier is dat de testen mogelijk net wat anders zijn en dan
heb je bias.
Betrouwbaarheid van het interpunt: Als een meting meerdere items gebruikt wordt met deze
methode gekeken naar consistentie tussen de items.
Item-totaal correlatie: de correlatie tussen één item en de andere items. Volgens het college hoort
het niet item-totaal te heten maar item-rest.
Item-totaal volgens college: je correleert één item met alle items tegelijk inclusief zichzelf.
Split-half betrouwbaarheid: alle vragen worden in twee sets verdeeld (kan bv random, of alle
even en oneven vragen apart). Daarna wordt gekeken naar correlatie. Weer moet er meer dan 0.7
correlatie zijn. Omdat de vragen op zo veel manieren gesplitst zijn kan je afvragen wat nou echt de
correlatie is. Daarom gebruikt men Cronbach’s alpha. Dat is het gemiddelde van alle mogelijke
split-half betrouwbaarheidsanalyses. Nogmaals 0.7.
, interbeoordelaarsbetrouwbaarheid
interbeoordelaarsbetrouwbaarheid: staat voor het verschil tussen metingen van verschillende
onderzoekers. De ene is bv strenger dan de andere.
Het verbeteren van de betrouwbaarheid van metingen
Er kan niet bij elke meting betrouwbaarheid berekent worden. Het beste wat je dan kan doen is alles
zo betrouwbaar mogelijk maken.
– Standaardiseer de manier van meten. Iedere participant moet op dezelfde manier gemeten worden.
– Verduidelijk instructies en vragen.
– Train de observatoren.
– Minimaliseer fouten in het coderen van data.
Het beoordelen van de validiteit van de meting
Metingen moeten niet alleen te vertrouwen zijn, maar ook valide.
Validiteit: In hoeverre iets meet wat het hoort te meten.
Om goed betrouwbaarheid en validiteit uit elkaar te houden kan je naar een plaatje in het boek
kijken, op bladzijde 288 in MMC.
Als je iets maar één keer meet is een niet betrouwbare test ook niet valide! Een niet betrouwbare
test wordt meer valide als je vaker kan testen.
Linksboven: NIET betrouwbaar & NIET valide. als je middelt kom je niet bij de roos.
Rechtsboven: NIET betrouwbaar & WEL valide. Gemiddeld genomen zit je dicht bij de roos.
Linksonder: WEL betrouwbaar & NIET valide. Kleine toevallige meetfout maar ver van roos.
Rechtsonder: WEL betrouwbaar & WEL valide. Dicht bij elkaar en in de roos.
Verschillende types validiteit
Gezichtsgeldigheid: gerefereerd naar hoe erg het lijkt te meten wat het behoort te meten. Dit wordt
gebaseerd op het oordeel van de onderzoeker of de participanten. Klinkt vrij los maar werkt best
goed. Het hangt af van drie kwalificaties.
– Als iets gezichtsgeldigheid heeft betekent het nog niet dat het echt valide is.
– Sommige metingen zonder gezichtsgeldigheid zijn eigenlijk valide.
– Soms willen onderzoekers het daadwerkelijke doel van het onderzoek verstoppen. Ze gebruiken
dan instrumenten die geen gezichtsgeldigheid hebben om zo het doel te verstoppen.
Constructie validiteit
Er zijn veel constructen gemaakt door de mens om iets te begrijpen. Bijvoorbeeld intelligentie. Dit
kan niet direct worden geobserveerd. Hoe meet je een ‘onzichtbaar’ construct? We doen dit door het
te vergelijken met resultaten op metingen van hetzelfde of tegenovergestelde concept (bv
zelfverzekerdheid versus onzekerheid).
Convergente validiteit: er moet correlatie met andere metingen zijn die hetzelfde concept meten.
Discriminante validiteit: er moet negatieve correlatie zijn met metingen die het tegenovergestelde
meten.
criteriegerelateerde validiteit: bepaald tot welk niveau we metingen kunnen onderscheiden door
een bepaald criteria.
Er zijn twee vormen van criteriegerelateerde validiteit:
– Concurrente validiteit: is er correlatie tussen het gedrag van individuen en wat zij scoren op
hetzelfde moment?
– Voorspellende validiteit: kan een meting iets voorspellen?
Inhoudsvaliditeit (uit college): dekt het instrument het volledige domein van een contruct?
Bijvoorbeeld een IQ test. Stel dat het alleen ruimtelijk inzicht meet dan heb je geen
inhoudsvaliditeit, omdat je maar een deel van intelligentie meet. Er kan alleen theoretisch gezien
worden of je het volledige domein meet.
