Observeren in psychologie en pedagogie
h6: betrouwbaarheid en validiteit
Het onderscheid tussen betrouwbaarheid en validiteit is het best aan te geven met
de termen ‘goed’ en ‘juist’: betrouwbare maten zijn goede maten en valide maten zijn
juiste maten. Voor ‘maten’ kun je ook ‘instrumenten’ invullen.
Wat is goed en wat is juist?
Betrouwbaarheid met precisie: de mate waarin de scores van een test feitelijk
ware scores zijn, die niet zijn bepaald door toevallige fouten.
Validiteit is dan vooral nauwkeurigheid: de mate waarin de ware scores vrij zijn
van systematische fouten.
Precisie en nauwkeurigheid zijn niet hetzelfde.
Bijvoorbeeld, stel dat je darts gooit naar een dartbord:
Als je telkens de pijlen dicht bij elkaar gooit, maar ver van het midden, ben je
precies maar niet nauwkeurig.
Als je de pijlen telkens dicht bij het midden gooit, ben je nauwkeurig.
Als je de pijlen willekeurig verspreid over het bord gooit, ben je noch precies noch
nauwkeurig.
Sensitiviteit en specificiteit zijn kenmerkend voor het beoordelen van
diagnostische testen en hebben een omgekeerde relatie. Een verhoging in
sensitiviteit kan leiden tot een verlaging van de specificiteit, en omgekeerd.
Sensitiviteit: Stel dat je een test hebt om een ziekte op te sporen en deze test
heeft een hoge sensitiviteit. Dit betekent dat de test goed is in het opsporen van
mensen die de ziekte daadwerkelijk hebben (weinig "vals-negatieven").
Bijvoorbeeld, van 100 zieke mensen, identificeert de test er 95 correct als ziek.
Specificiteit: Dit verwijst naar hoe goed de test gezonde mensen correct als
gezond identificeert (weinig "vals-positieven"). Een test met hoge specificiteit
geeft bijna nooit aan dat iemand ziek is als die persoon gezond is. Bijvoorbeeld,
van 100 gezonde mensen, identificeert de test er 98 correct als gezond.
Relatie tussen beide: Als je de sensitiviteit van een test verhoogt (door bijvoorbeeld
de drempel lager te leggen), kan dit leiden tot meer vals-positieven, waardoor de
specificiteit afneemt.
Ten slotte melden we nog twee belangrijke kenmerken van betrouwbaarheid.
Resolutie; betreft de mate waarin de kleinste veranderingen de ware waarde nog
kan worden ontdekt door het instrument. Denk bij resolutie aan de hoeveelheid
scores die mogelijk zijn bij veranderingen van gedrag.
Consistentie; slaat op de overeenstemming tussen herhaalde metingen
6.2 de berekening van betrouwbaarheid
Om de betrouwbaarheid van een observatiesysteem te onderzoeken, staan ons in
wezen drie strategieën ten dienste.
1. Kunnen we een vergelijking maken binnen het materiaal dat we al verzameld
hebben. Dat kan dan op twee manieren:
Methode A; we splitsen het materiaal in tweeën, in twee gelijke helften waaruit
we afzonderlijke scores berekenen. De intraclasscorrelatie tussen deze twee
h6: betrouwbaarheid en validiteit
Het onderscheid tussen betrouwbaarheid en validiteit is het best aan te geven met
de termen ‘goed’ en ‘juist’: betrouwbare maten zijn goede maten en valide maten zijn
juiste maten. Voor ‘maten’ kun je ook ‘instrumenten’ invullen.
Wat is goed en wat is juist?
Betrouwbaarheid met precisie: de mate waarin de scores van een test feitelijk
ware scores zijn, die niet zijn bepaald door toevallige fouten.
Validiteit is dan vooral nauwkeurigheid: de mate waarin de ware scores vrij zijn
van systematische fouten.
Precisie en nauwkeurigheid zijn niet hetzelfde.
Bijvoorbeeld, stel dat je darts gooit naar een dartbord:
Als je telkens de pijlen dicht bij elkaar gooit, maar ver van het midden, ben je
precies maar niet nauwkeurig.
Als je de pijlen telkens dicht bij het midden gooit, ben je nauwkeurig.
Als je de pijlen willekeurig verspreid over het bord gooit, ben je noch precies noch
nauwkeurig.
Sensitiviteit en specificiteit zijn kenmerkend voor het beoordelen van
diagnostische testen en hebben een omgekeerde relatie. Een verhoging in
sensitiviteit kan leiden tot een verlaging van de specificiteit, en omgekeerd.
Sensitiviteit: Stel dat je een test hebt om een ziekte op te sporen en deze test
heeft een hoge sensitiviteit. Dit betekent dat de test goed is in het opsporen van
mensen die de ziekte daadwerkelijk hebben (weinig "vals-negatieven").
Bijvoorbeeld, van 100 zieke mensen, identificeert de test er 95 correct als ziek.
Specificiteit: Dit verwijst naar hoe goed de test gezonde mensen correct als
gezond identificeert (weinig "vals-positieven"). Een test met hoge specificiteit
geeft bijna nooit aan dat iemand ziek is als die persoon gezond is. Bijvoorbeeld,
van 100 gezonde mensen, identificeert de test er 98 correct als gezond.
Relatie tussen beide: Als je de sensitiviteit van een test verhoogt (door bijvoorbeeld
de drempel lager te leggen), kan dit leiden tot meer vals-positieven, waardoor de
specificiteit afneemt.
Ten slotte melden we nog twee belangrijke kenmerken van betrouwbaarheid.
Resolutie; betreft de mate waarin de kleinste veranderingen de ware waarde nog
kan worden ontdekt door het instrument. Denk bij resolutie aan de hoeveelheid
scores die mogelijk zijn bij veranderingen van gedrag.
Consistentie; slaat op de overeenstemming tussen herhaalde metingen
6.2 de berekening van betrouwbaarheid
Om de betrouwbaarheid van een observatiesysteem te onderzoeken, staan ons in
wezen drie strategieën ten dienste.
1. Kunnen we een vergelijking maken binnen het materiaal dat we al verzameld
hebben. Dat kan dan op twee manieren:
Methode A; we splitsen het materiaal in tweeën, in twee gelijke helften waaruit
we afzonderlijke scores berekenen. De intraclasscorrelatie tussen deze twee
