1 EXPERIMENTELE DESIGNS EN VALIDITEIT
1.1 Ethiek van experimenteel onderzoek
Ethische richtlijnen
Onderzoek kent veel valkuilen waardoor deelnemers direct of indirect schade kunnen krijgen. Dit kan
ook subtiel zijn. Ethische richtlijnen zijn opgesteld om de rechten van deelnemers te respecteren. De
meeste richtlijnen hebben een grijs gebied. Het is verplicht om onderzoek eerst te laten toetsen door
ethische commissies. Zij beoordelen belangrijke aspecten van onderzoek:
- Minimized harm Het onderzoek is zo opgesteld dat het de deelnemer minimaal belast.
- Informed consent Overeenkomst tussen onderzoeker en deelnemer van een studie.
o Combinatie van informatie verstrekking en toestemming vragen.
Informed consent
Het informed consent geeft garantie dat deelname vrijwillig is en data geanonimiseerd. In de tabel
hieronder staan alle aspecten die vermeld worden in de informed consent brief. Er zijn twee vormen
van informed consent:
- Active informed consent Een handeling doen om toestemming te geven (bv ondertekenen).
- Passive informed consent Een handling doen om niet deel te nemen aan een onderzoek.
Informatie Beschrijving
- Vrijwillige deelname Uitleg dat deelname vrijwillig is.
- Recht op beëindiging Uitleg dat de deelnemer ieder moment mag stoppen.
- Onderzoeksdoel Uitleg wat het doel is, indien dit de uitkomsten niet beïnvloedt.
- Onderzoeksprocedure Uitleg wat de gevolgde procedure voor de deelnemer is.
- Risico’s Uitleg wat de mogelijke risico’s van deelname kunnen zijn.
- Maatschappelijk nut Uitleg wat het hogere nut van deelname is.
- Onderzoeksduur Uitleg hoe lang de belasting voor de deelnemer duurt.
- Contactinformatie Contactgegevens van de persoon die benaderd kan worden voor vragen.
- Anonimiteit Uitleg hoe de gegevens van de deelnemer worden verwerkt.
Debriefing en bedrog
Na afloop van het onderzoek is het ethisch om de deelnemers de kans te geven terugkoppelingen te
geven. Dit is de debriefing en moet zo snel mogelijk plaatsvinden. De onderzoeker geeft openheid
van zaken, zoals wanneer er sprake was van manipulatie. Het doel is om misvattingen en twijfels bij
deelnemers weg te nemen.
Het is soms noodzakelijk om deelnemers voor te liegen over de inhoud van onderzoek. Bij dit bedrog
moet de onderzoeker eerst de ethische commissie overtuigen. In principe is het verboden om
deelnemers te bedriegen, tenzij het noodzakelijk is. De drie bekendste vormen van bedrog zijn:
- Gebruik van handlangers Inzet van acteur/assistent die zich anders voordoet.
- Staged manipulations in field settings Omstandigheden waarin de persoon zit manipuleren.
- Misleidende instructies Aard van het onderzoek misleidend voorstellen.
Proceduresectie
De proceduresectie in experimenteel onderzoek is uitgebreider dan in niet-experimenteel onderzoek.
Hierin beschrijft de onderzoeker ethische aspecten. Het moet enerzijds bondig zijn, maar anderzijds
ook voldoende gedetailleerd. Onderdelen van de proceduresectie zijn:
- Samenvatting van de instructies die proefpersonen hebben ontvangen (lijst in appendix).
- Beschrijving van de specifieke experimentele manipulaties.
- Eventuele counterbalancing of andere experimentele controle.
- Duur van het experiment.
- Eventuele beloningen voor deelnemers.
1
, 1.2 Bedreigers van interne en externe validiteit
Betrouwbaarheid en validiteit
Betrouwbaarheid en validiteit zijn twee losstaande concepten. Hieronder een overzicht:
- Betrouwbaarheid De mate waarin een meting bij herhaling hetzelfde resultaat geeft.
o Niet-systematische meetfout: er is sprake van ruis of error.
- Validiteit De mate waarin een meetinstrument meet wat het moet meten.
o Systematische meetfout: er is sprake van bias.
Validiteit: bedreigers van interne en externe validiteit
Vorm van validiteit Definitie
Interne validiteit Causaliteit: in hoeverre is er bewijs dat X verandering op Y veroorzaakt?
- Tijdsvolgorde: de oorzaak is voorafgaand aan het effect.
- Covariatie: de oorzaak en gevolg zijn gerelateerd aan elkaar.
- Geen schijnverband: er is geen alternatieve verklaring.
Externe validiteit De mate waarin resultaten gegeneraliseerd kunnen worden naar de populatie: in
hoeverre het ook buiten de onderzoekscontext geldt.
- Generaliseerbaarheid in situaties naar real-life: ecologische validiteit
- Generaliseerbaarheid in mensen naar gehele populatie
Om zeker te zijn dat resultaten intern en extern valide zijn, zijn voorzorgsmaatregelen nodig. Vaak is
er een tegenstrijdigheid tussen interne en externe validiteit. Hoe meer externe factoren je buitensluit
(= hoge interne validiteit), hoe minder realistisch het experiment wordt (= lage externe validiteit). Er
worden 10 bedreigers van interne validiteit en 3 bedreigers van externe validiteit benoemd:
Bedreiger interne validiteit Definitie
Tussentijds extern voorval Specifieke gebeurtenissen die plaatsvinden tussen eerste en tweede meting.
(= history)
Rijping of groei Veranderingen die binnen proefpersonen optreden door verloop van tijd.
(= maturation) - Korte termijn: bv concentratieverlies bij kinderen cijferreeks onthouden.
- Lange termijn: bv onderzoek naar kinderen op basisschool tot puberteit.
Testeffect Het effect dat de voormeting heeft op uitkomsten van volgende metingen.
- Bv puzzeltaak als voormeting: antwoorden onthouden in de nameting.
Instrumentatie Verandering in meetinstrument of beoordelaar die de resultaten beïnvloedt.
- Bv andere vragenlijst, soms onvermijdelijk zoals IQ-test bij kinderen.
Statistische regressie Natuurlijke terugval: extreme persoonskenmerk bij voormeting die terugzakt
(= regression to the mean) naar een minder extreem niveau.
- Bv behandelingseffect bij depressie: nulmeting is op het diepste punt.
Selectie Verschillen in condities tussen groepen in het experiment.
- Voorkomen door goede randomisatie.
Uitval Uitvallers die niet meer meewerken aan latere metingen om redenen die
(= experimental mortality) relevant kunnen zijn in het experiment.
- Bv stop met roken: deelnemer stopt halverwege omdat hij al gestopt is.
Interactie tussen bedreigers Een combinatie van bedreigers die elkaar versterken.
Verspreiding van de ingreep Informatie in de ene groep wordt bekend bij deelnemers in de andere groep.
- Bv studenten horen in de wandelgangen hoe het onderzoek gaat zijn.
Compenserende rivaliteit Deelnemers in verschillende condities gaan in competitie met elkaar.
(= John Henry-effect) - Bv er staat een baan op het spel: experiment groep doet extra zijn best.
2
1.1 Ethiek van experimenteel onderzoek
Ethische richtlijnen
Onderzoek kent veel valkuilen waardoor deelnemers direct of indirect schade kunnen krijgen. Dit kan
ook subtiel zijn. Ethische richtlijnen zijn opgesteld om de rechten van deelnemers te respecteren. De
meeste richtlijnen hebben een grijs gebied. Het is verplicht om onderzoek eerst te laten toetsen door
ethische commissies. Zij beoordelen belangrijke aspecten van onderzoek:
- Minimized harm Het onderzoek is zo opgesteld dat het de deelnemer minimaal belast.
- Informed consent Overeenkomst tussen onderzoeker en deelnemer van een studie.
o Combinatie van informatie verstrekking en toestemming vragen.
Informed consent
Het informed consent geeft garantie dat deelname vrijwillig is en data geanonimiseerd. In de tabel
hieronder staan alle aspecten die vermeld worden in de informed consent brief. Er zijn twee vormen
van informed consent:
- Active informed consent Een handeling doen om toestemming te geven (bv ondertekenen).
- Passive informed consent Een handling doen om niet deel te nemen aan een onderzoek.
Informatie Beschrijving
- Vrijwillige deelname Uitleg dat deelname vrijwillig is.
- Recht op beëindiging Uitleg dat de deelnemer ieder moment mag stoppen.
- Onderzoeksdoel Uitleg wat het doel is, indien dit de uitkomsten niet beïnvloedt.
- Onderzoeksprocedure Uitleg wat de gevolgde procedure voor de deelnemer is.
- Risico’s Uitleg wat de mogelijke risico’s van deelname kunnen zijn.
- Maatschappelijk nut Uitleg wat het hogere nut van deelname is.
- Onderzoeksduur Uitleg hoe lang de belasting voor de deelnemer duurt.
- Contactinformatie Contactgegevens van de persoon die benaderd kan worden voor vragen.
- Anonimiteit Uitleg hoe de gegevens van de deelnemer worden verwerkt.
Debriefing en bedrog
Na afloop van het onderzoek is het ethisch om de deelnemers de kans te geven terugkoppelingen te
geven. Dit is de debriefing en moet zo snel mogelijk plaatsvinden. De onderzoeker geeft openheid
van zaken, zoals wanneer er sprake was van manipulatie. Het doel is om misvattingen en twijfels bij
deelnemers weg te nemen.
Het is soms noodzakelijk om deelnemers voor te liegen over de inhoud van onderzoek. Bij dit bedrog
moet de onderzoeker eerst de ethische commissie overtuigen. In principe is het verboden om
deelnemers te bedriegen, tenzij het noodzakelijk is. De drie bekendste vormen van bedrog zijn:
- Gebruik van handlangers Inzet van acteur/assistent die zich anders voordoet.
- Staged manipulations in field settings Omstandigheden waarin de persoon zit manipuleren.
- Misleidende instructies Aard van het onderzoek misleidend voorstellen.
Proceduresectie
De proceduresectie in experimenteel onderzoek is uitgebreider dan in niet-experimenteel onderzoek.
Hierin beschrijft de onderzoeker ethische aspecten. Het moet enerzijds bondig zijn, maar anderzijds
ook voldoende gedetailleerd. Onderdelen van de proceduresectie zijn:
- Samenvatting van de instructies die proefpersonen hebben ontvangen (lijst in appendix).
- Beschrijving van de specifieke experimentele manipulaties.
- Eventuele counterbalancing of andere experimentele controle.
- Duur van het experiment.
- Eventuele beloningen voor deelnemers.
1
, 1.2 Bedreigers van interne en externe validiteit
Betrouwbaarheid en validiteit
Betrouwbaarheid en validiteit zijn twee losstaande concepten. Hieronder een overzicht:
- Betrouwbaarheid De mate waarin een meting bij herhaling hetzelfde resultaat geeft.
o Niet-systematische meetfout: er is sprake van ruis of error.
- Validiteit De mate waarin een meetinstrument meet wat het moet meten.
o Systematische meetfout: er is sprake van bias.
Validiteit: bedreigers van interne en externe validiteit
Vorm van validiteit Definitie
Interne validiteit Causaliteit: in hoeverre is er bewijs dat X verandering op Y veroorzaakt?
- Tijdsvolgorde: de oorzaak is voorafgaand aan het effect.
- Covariatie: de oorzaak en gevolg zijn gerelateerd aan elkaar.
- Geen schijnverband: er is geen alternatieve verklaring.
Externe validiteit De mate waarin resultaten gegeneraliseerd kunnen worden naar de populatie: in
hoeverre het ook buiten de onderzoekscontext geldt.
- Generaliseerbaarheid in situaties naar real-life: ecologische validiteit
- Generaliseerbaarheid in mensen naar gehele populatie
Om zeker te zijn dat resultaten intern en extern valide zijn, zijn voorzorgsmaatregelen nodig. Vaak is
er een tegenstrijdigheid tussen interne en externe validiteit. Hoe meer externe factoren je buitensluit
(= hoge interne validiteit), hoe minder realistisch het experiment wordt (= lage externe validiteit). Er
worden 10 bedreigers van interne validiteit en 3 bedreigers van externe validiteit benoemd:
Bedreiger interne validiteit Definitie
Tussentijds extern voorval Specifieke gebeurtenissen die plaatsvinden tussen eerste en tweede meting.
(= history)
Rijping of groei Veranderingen die binnen proefpersonen optreden door verloop van tijd.
(= maturation) - Korte termijn: bv concentratieverlies bij kinderen cijferreeks onthouden.
- Lange termijn: bv onderzoek naar kinderen op basisschool tot puberteit.
Testeffect Het effect dat de voormeting heeft op uitkomsten van volgende metingen.
- Bv puzzeltaak als voormeting: antwoorden onthouden in de nameting.
Instrumentatie Verandering in meetinstrument of beoordelaar die de resultaten beïnvloedt.
- Bv andere vragenlijst, soms onvermijdelijk zoals IQ-test bij kinderen.
Statistische regressie Natuurlijke terugval: extreme persoonskenmerk bij voormeting die terugzakt
(= regression to the mean) naar een minder extreem niveau.
- Bv behandelingseffect bij depressie: nulmeting is op het diepste punt.
Selectie Verschillen in condities tussen groepen in het experiment.
- Voorkomen door goede randomisatie.
Uitval Uitvallers die niet meer meewerken aan latere metingen om redenen die
(= experimental mortality) relevant kunnen zijn in het experiment.
- Bv stop met roken: deelnemer stopt halverwege omdat hij al gestopt is.
Interactie tussen bedreigers Een combinatie van bedreigers die elkaar versterken.
Verspreiding van de ingreep Informatie in de ene groep wordt bekend bij deelnemers in de andere groep.
- Bv studenten horen in de wandelgangen hoe het onderzoek gaat zijn.
Compenserende rivaliteit Deelnemers in verschillende condities gaan in competitie met elkaar.
(= John Henry-effect) - Bv er staat een baan op het spel: experiment groep doet extra zijn best.
2
